JP2021022179A - 建設機械のデータ処理システム - Google Patents

Abstract

【課題】作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる建設機械のデータ処理システムを提供する。【解決手段】建設機械のデータ処理システム１０のデータ量削減部６６は、データ記憶部６２に記憶された時系列画像データのうち予め設定された第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、前記データ記憶部６２に記憶された前記時系列画像データのうち予め設定された第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された第２の削減ルールに基づいて削減するように構成される。【選択図】図２

Description

本発明は、作業現場における建設機械の作業に関する作業データのデータ量を削減するための建設機械のデータ処理システムに関するものである。

従来、作業現場において行われる建設機械の作業に関する作業データは、記憶部（記憶装置）に記憶され、例えば前記建設機械の作業を管理するためのデータとして利用される。前記記憶部の記憶容量は有限であるため、記憶される前記作業データのデータ量を削減するための技術が提案されている。

特許文献１は、作業機械に装着された複数のセンサの計測データを稼働データとして受信して稼働データ記憶部に記録する稼働データ収集装置を開示している。この稼働データ収集装置は、ダウンロード状況と、稼働データ記憶部の空き容量と、稼働データの情報鮮度とに応じて、収集する稼働データの記録範囲と記録間隔とを調整する。具体的に、この稼働データ収集装置では、稼働データ記録部に記録されているレコードの中で未だダウンロードされていないレコードについて、データ記録日からの経過日数に応じて記録レベルを変更し、また、稼働データ記録部の全体容量に対する空き容量の割合に応じて記録レベルを変更する。前記記録レベルは、記録条件であり、数値が高いほど記録情報量が多いことを示す（特許文献１の段落００５０，００５１）。

特開２０１５−０９５０６９号公報

ところで、実際の作業現場では、通常、作業内容の異なる複数の作業が建設機械によって行われる。

しかしながら、特許文献１の装置では、前記作業内容にかかわらず、前記ダウンロード状況と前記稼働データ記憶部の空き容量と前記稼働データの情報鮮度とに基づいて前記稼働データの前記記録レベルが一律に変更される。このため、特許文献１の装置は、本来保存されるべき作業内容のデータを適切に保存することができない場合がある。

また、特許文献１の装置のように前記センサの計測データを記憶部に記憶するだけではなく、作業現場において建設機械の画像データを時系列で記憶部に記憶することが考えられる。これにより、作業現場の作業を管理する管理者、作業現場の作業を行うオペレータなどの作業関係者は、前記記憶部に記憶された前記画像データを前記建設機械の作業を管理するために利用することができる。しかし、前記時系列の画像データは、前記センサの計測データに比べて、前記記憶部において大きな容量を必要とする。従って、前記時系列の画像データを記憶して当該画像データを前記建設機械の作業の管理に利用するためには、前記画像データのデータ量を削減することが特に重要となる。

本発明は、上記課題を解決するためになされたもので、作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる建設機械のデータ処理システムを提供することを目的とするものである。

提供されるのは、建設機械の作業に関する作業データのデータ量を削減するための建設機械のデータ処理システムであって、作業現場における前記建設機械を含む画像の時系列データである時系列画像データを取得する撮像装置と、前記時系列画像データを記憶するデータ記憶部と、前記時系列画像データに基づいて前記建設機械の少なくとも一つの作業内容を判定する作業内容判定部と、データ量削減部と、を備え、前記データ量削減部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減するように構成される。

このデータ処理システムでは、前記第１の特定作業に対応する前記第１の画像データの前記データ量を削減するための前記第１の削減ルールと、前記第２の特定作業に対応する前記第２の画像データの前記データ量を削減するための前記第２の削減ルールとが、前記作業関係者によって予め設定され、前記時系列画像データのうち、前記第１の画像データの前記データ量が前記第１の削減ルールに基づいて削減され、前記第２の画像データの前記データ量が前記第２の削減ルールに基づいて削減される。すなわち、前記作業関係者は、互いに異なる前記第１の削減ルールと前記第２の削減ルールを設定することにより、前記データ量の削減という観点で、前記第１の特定作業と前記第２の特定作業に優劣を付けることができる。このことは、保存されるべき作業内容の画像データを優先的に残す一方で、当該画像データよりも優先度（重要度）の劣る画像データのデータ量を相対的に多く削減することを可能にする。これにより、作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる。

具体例を挙げると、前記データ処理システムにおいて、前記第１の削減ルールは、前記第１の画像データの前記データ量を予め設定された第１の削減率で削減するように設定され、前記第２の削減ルールは、前記第２の画像データの前記データ量を予め設定された削減率であって前記第１の削減率とは異なる第２の削減率で削減するように設定されていてもよい。

この態様では、前記第１の特定作業及び前記第２の特定作業のうち、重要度の高い一方の作業の削減率が他方の作業の削減率よりも小さくなるように設定される。これにより、前記作業データの前記データ量を作業内容の重要度に応じて削減することができる。

前記データ処理システムは、前記建設機械の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する少なくとも一つのセンサと、前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与するタイムスタンプ処理部と、をさらに備え、前記データ記憶部は、前記時系列動作データをさらに記憶するように構成され、前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、を含み、前記データ量削減部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データのデータ量を削減し、前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データのデータ量を削減するように構成されることが好ましい。

この態様では、前記少なくとも一つのセンサにより取得される前記時系列動作データは、前記タイムスタンプ処理部が前記時系列画像データ及び前記時系列動作データのそれぞれに付与する前記時刻情報によって前記時系列画像データと関連づけられる。そして、前記データ量削減部は、前記少なくとも一つの作業内容が前記第１の特定作業を含む場合には、前記第１の画像データの前記データ量を削減するだけでなく、当該第１の画像データに関連づけられた前記第１の動作データの前記データ量も削減し、前記少なくとも一つの作業内容が前記第２の特定作業を含む場合には、前記第２の画像データの前記データ量を削減するだけでなく、当該第２の画像データに関連づけられた前記第２の動作データの前記データ量も削減する。これにより、前記撮像装置により取得される前記時系列画像データの前記データ量と、前記センサにより取得される前記時系列動作データの前記データ量とを、当該建設機械の作業内容に応じて削減することができる。

前記データ処理システムにおいて、前記作業内容判定部は、前記少なくとも一つの作業内容が予め設定された複数の第３の特定作業により構成される繰り返し作業を含む場合に、前記複数の第３の特定作業のそれぞれの判定の精度を示すスコアを出力するように構成され、前記データ量削減部は、前記データ記憶部に記憶された前記時系列画像データのうち前記複数の第３の特定作業に対応する部分である複数の第３の画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減するように構成されていてもよい。

この態様では、前記複数の第３の画像データのうちの少なくとも一つの第３の画像データの前記データ量が前記スコアに基づいて削減される。この態様の具体例を挙げると次の通りである。この態様では、例えば、前記複数の第３の特定作業のうち低スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量が削減される一方で、前記複数の第３の特定作業のうち高スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量は削減されないように前記データ量削減部が構成されていてもよい。また、前記複数の第３の特定作業のうち、低スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量が高スコアの前記第３の特定作業に対応する前記第３の画像データの前記データ量よりも多く削減されるように前記データ量削減部が構成されていてもよい。なお、前記第３の特定作業は、前記第１の特定作業又は前記第２の特定作業と同じ作業であってもよく、前記第１の特定作業及び前記第２の特定作業と異なる作業であってもよい。

前記データ処理システムにおいて、前記データ記憶部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容を作業履歴として記憶するように構成され、前記データ処理システムは、検索条件の入力を受ける検索部をさらに備え、前記検索部は、前記検索条件が入力された場合に前記データ記憶部に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力するように構成されていてもよい。

この態様では、前記作業関係者は、前記検索条件を入力することにより、前記データ記憶部に記憶された前記作業履歴から所望の作業内容に関する作業データを入手することができる。

前記データ処理システムは、前記時系列画像データを構成する前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部をさらに備え、前記作業内容判定部は、前記姿勢推定部により推定される前記姿勢の時系列データである時系列姿勢データに基づいて前記作業内容を判定するように構成されていてもよい。

この態様では、前記建設機械の前記作業内容を前記建設機械の姿勢の動的な変化に基づいて判定することができる。具体的に、前記建設機械の作業は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業などを含み、これらの作業のそれぞれは、当該建設機械の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械の姿勢の時系列の変化は、前記建設機械の前記作業内容との関連性があり、当該作業内容の判定の指標となる。

本発明によれば、作業現場における建設機械の画像の時系列データを含む作業データのデータ量を、当該建設機械の作業内容に応じて適切に削減することができる。

実施形態に係るデータ処理システムの構成を示す概略図である。 実施形態に係るデータ処理システムの構成を示すブロック図である。 建設機械の一例を示す側面図である。 前記建設機械の複数の特徴点の一例を示す斜視図である。 前記データ処理システムにおいて前記建設機械の姿勢を推定する処理について説明するための図である。 前記データ処理システムにおいて前記建設機械の時系列姿勢データを示す図である。 前記データ処理システムにおいて前記建設機械の前記時系列姿勢データから作業内容を判定する処理について説明するための図である。 前記データ処理システムの作業内容判定部により判定された建設機械による作業内容の時系列の変化の一例を示す図である。 前記データ処理システムにおいて、作業現場毎に設定された削減ルールの一例を示す図である。 前記データ処理システムの前記作業内容判定部により判定された建設機械による作業内容の時系列の変化の他の例を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおけるＨＭＩの一例である表示装置の画面を示す図である。 前記データ処理システムにおいて取得される情報に基づいて生成される作業日報の一例を示す図である。 前記データ処理システムの演算処理を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

図１は、実施形態に係るデータ処理システム１０の構成を示す概略図である。図２は、前記データ処理システム１０の構成を示すブロック図である。図３は、建設機械１００の一例を示す側面図である。本実施形態に係るデータ処理システム１０は、作業現場における前記建設機械１００の作業に関する作業データのデータ量を削減するためのシステムである。

図１に示す具体例は、前記作業現場において、複数の建設機械１００が作業を行う場合を示している。図１に示すように、前記複数の建設機械１００は、第１の建設機械１００Ａと、第２の建設機械１００Ｂと、を含む。前記複数の建設機械１００のそれぞれは、油圧ショベルにより構成される。これらの油圧ショベルは、同様の基本的な構成を備えるので、以下では、前記複数の建設機械１００のうちの一方の建設機械１００について説明し、他方の建設機械１００についての説明は省略する。

前記建設機械１００は、クローラ式の下部走行体１０１と、その走行面に対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体１０１の上に搭載される上部旋回体１０２と、この上部旋回体１０２に起伏可能に搭載されるアタッチメント１０３と、を備える。

前記上部旋回体１０２は、当該上部旋回体１０２の前部（本体前部）を構成するキャブ１０２Ａと、前記上部旋回体１０２の後部（本体後部）を構成するカウンタウエイト１０２Ｂと、を有する。当該アタッチメント１０３は、前記上部旋回体１０２に起伏可能に支持されるブーム１０４と、当該ブーム１０４の先端に回動可能に連結されるアーム１０５と、当該アーム１０５の先端に回動可能に連結されるバケット１０６（先端アタッチメント）と、を含む。

前記建設機械１００は、前記上部旋回体１０２に対して前記ブーム１０４を起伏動作させるように作動するブームシリンダ１０７と、当該ブーム１０４に対して前記アーム１０５を回動動作させるように作動するアームシリンダ１０８と、当該アーム１０５に対して前記先端アタッチメント１０６を回動動作させるように作動する先端アタッチメントシリンダ１０９と、を含む。

図１及び図２に示すように、前記データ処理システム１０は、複数のセンサと、機械コントローラ５０と、撮像装置３０と、カメラコントローラ４０と、メインコントローラ６０と、クラウドサーバ７０と、を備える。前記機械コントローラ５０、前記カメラコントローラ４０、前記メインコントローラ６０、及び前記クラウドサーバ７０のそれぞれは、例えば、ＣＰＵ等のプロセッサとメモリとを備えるコンピュータにより構成される。

前記複数のセンサ及び前記機械コントローラ５０は、前記建設機械１００に設けられる。前記複数のセンサは、前記建設機械１００の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する。前記複数のセンサにより取得される前記動作パラメータは、前記機械コントローラ５０に入力される。

図３に示すように、前記複数のセンサは、ブーム角度センサ２１と、アーム角度センサ２２と、バケット角度センサ２３と、旋回角度センサ２４と、車体傾斜角度センサ２５と、測位センサ２６と、回転数センサ２７と、を含む。従って、前記動作パラメータは、これらのセンサ２１〜２７によりそれぞれ検出される検出値を含む。具体的には次の通りである。

前記ブーム角度センサ２１は、前記上部旋回体１０２に対する前記ブーム１０４の角度であるブーム角度を特定するためのパラメータを検出するセンサである。前記ブーム角度は、例えば、前記上部旋回体１０２の旋回中心に直交する平面と、前記ブーム１０４の長手方向に沿って延びる直線とのなす角度である。前記ブーム１０４の前記長手方向に沿って延びる前記直線は、例えば、前記上部旋回体１０２と前記ブーム１０４の基端部との連結部分の回動中心（連結ピンの中心）と、前記ブーム１０４の先端部と前記アーム１０５の基端部との連結部分の回動中心（連結ピンの中心）とを結ぶ直線である。

前記アーム角度センサ２２は、前記ブーム１０４に対する前記アーム１０５の角度であるアーム角度を特定するためのパラメータを検出するセンサである。前記アーム角度は、例えば、前記ブーム１０４の前記長手方向に沿って延びる前記直線と、前記アーム１０５の長手方向に沿って延びる直線とのなす角度である。前記アーム１０５の長手方向に沿って延びる前記直線は、例えば、前記ブーム１０４の先端部と前記アーム１０５の基端部との前記連結部分の回動中心（連結ピンの中心）と、前記アーム１０５の先端部と前記バケット１０６の基端部との連結部分の回動中心（連結ピンの中心）とを結ぶ直線である。

前記バケット角度センサ２３は、前記アーム１０５に対する前記バケット１０６の角度であるバケット角度を特定するためのパラメータを検出するセンサである。前記バケット角度は、例えば、前記アーム１０５の長手方向に沿って延びる前記直線と、前記バケット１０６の方向を規定する予め設定された直線とのなす角度である。前記バケット１０６の方向を規定する前記直線は、例えば、前記アーム１０５の先端部と前記バケットの基端部との前記連結部分の回動中心（連結ピンの中心）と、前記バケットの先端部（例えば前記バケットの爪先部分）とを結ぶ直線である。

前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記ブーム１０４の傾斜角度、前記アーム１０５の傾斜角度、及び前記バケット１０６の傾斜角度をそれぞれ検出する傾斜角度センサ（例えば加速度センサ）によって構成されていてもよい。また、前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記上部旋回体１０２と前記ブーム１０４の基端部との連結部分（連結ピン）の回転角度、前記ブーム１０４の先端部と前記アーム１０５の基端部との前記連結部分（連結ピン）の回転角度、及び前記アーム１０５の先端部と前記バケットの基端部との前記連結部分（連結ピン）の回転角度をそれぞれ検出する回転角度センサによって構成されていてもよい。また、前記ブーム角度センサ２１、前記アーム角度センサ２２、及び前記バケット角度センサ２３は、例えば、前記ブームシリンダ１０７のストローク量、前記アームシリンダ１０８のストローク量、及び前記バケットシリンダ１０９のストローク量をそれぞれ検出するストロークセンサによって構成されていてもよい。

前記旋回角度センサ２４は、前記下部走行体１０１に対する前記上部旋回体１０２の角度である旋回角度を特定するためのパラメータを検出するセンサである。前記旋回角度は、例えば、前記下部走行体１０１の前進方向と、前記上部旋回体１０２の前方（前記アタッチメント１０３が延びる方向）とが一致する位置（位相）を基準として規定される。前記旋回角度センサ２４としては、例えば、ジャイロセンサ、ロータリーエンコーダなどを挙げることができる。

前記車体傾斜角度センサ２５は、水平面に対する前記下部走行体１０１又は前記上部旋回体１０２の角度である車体傾斜角度を特定するためのパラメータを検出するセンサである。前記車体傾斜角度センサ２５としては、例えば、前記下部走行体１０１又は前記上部旋回体１０２のＸ軸回りの傾斜角度と、前記下部走行体１０１又は前記上部旋回体１０２のＹ軸回りの傾斜角度とを取得可能な２軸傾斜センサ（加速度センサ）を挙げることができる。前記Ｘ軸と前記Ｙ軸は互いに直交する水平な軸である。

前記ブーム角度センサ２１、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４、及び前記車体傾斜角度センサ２５のそれぞれは、対応するパラメータを所定の時間間隔で周期的に検出し、検出された検出結果（検出信号）は、前記機械コントローラ５０に逐次入力される。角度センサ２１〜２５の検出タイミングは、同期されていることが好ましい。

前記測位センサ２６は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＰＳセンサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）に関するデータを受信可能なＧＮＳＳセンサなどを備え、衛星測位システムの測位データ（ＧＰＳデータ、ＧＮＳＳデータなど）を受信する。前記測位センサ２６は、例えば、建設機械１００に取り付けられている。

前記回転数センサ２７は、建設機械１００の油圧回路における油圧ポンプの駆動源である図略のエンジンに設けられ、当該エンジンの回転数を検出する。

前記機械コントローラ５０は、センサデータ記憶部５１と、姿勢情報生成部５２と、タイムスタンプ処理部５３と、機械通信部５４と、を備える。

前記センサデータ記憶部５１は、前記複数のセンサ２１〜２７から入力される前記動作パラメータを記憶する。

前記姿勢情報生成部５２は、前記センサデータ記憶部５１に記憶される前記動作パラメータに基づいて前記建設機械１００の姿勢に関する姿勢情報を生成する。具体的に、前記姿勢情報生成部５２は、前記ブーム角度センサ２１、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４及び前記車体傾斜角度センサ２５のそれぞれから入力される前記パラメータに基づいて、前記ブーム角度、前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度をそれぞれ演算する。

前記タイムスタンプ処理部５３は、前記複数のセンサ２１〜２７により取得される前記時系列動作データに時刻情報を付与する。具体的には次の通りである。

前記タイムスタンプ処理部５３は、例えば、前記ブーム角度センサ２１による前記検出結果が前記機械コントローラ５０に入力された時刻又は前記姿勢情報生成部５２により前記ブーム角度が演算された時刻を、演算された前記ブーム角度（姿勢情報）と対応付けて記憶する。同様に、前記タイムスタンプ処理部５３は、前記アーム角度センサ２２、前記バケット角度センサ２３、前記旋回角度センサ２４、及び前記車体傾斜角度センサ２５のそれぞれによる前記検出結果が前記機械コントローラ５０に入力された時刻又は前記姿勢情報生成部５２により前記アーム角度、前記バケット角度、前記旋回角度及び前記車体傾斜角度のそれぞれが演算された時刻を、演算された角度（姿勢情報）と対応付けて記憶する。

前記タイムスタンプ処理部５３は、前記測位センサ２６による検出結果が前記機械コントローラ５０に入力された時刻を、前記検出結果と対応付けて記憶する。また、前記タイムスタンプ処理部５３は、前記回転数センサ２７による検出結果が前記機械コントローラ５０に入力された時刻を、前記検出結果と対応付けて記憶する。

前記機械通信部５４は、ネットワークを介して前記メインコントローラ６０（具体的には後述の通信部６１）との間でデータを送受信可能なように構成されている。前記機械通信部５４は、前記時刻情報が付与された前記時系列動作データ、前記時刻情報が付与された前記姿勢情報などを送信する。送信された前記時系列動作データ、前記姿勢情報などの情報は、前記メインコントローラ６０に入力される。

前記ネットワークは、例えば、インターネット、携帯電話通信網等の長距離情報通信網により構成されていてもよい。また、前記ネットワークは、例えば、特定省電力無線、ブルーツース（登録商標）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのように、前記機械通信部５４と前記通信部６１とを数十ｍ〜数百ｍ程度の距離で無線通信させることが可能な通信網により構成されていてもよい。また、前記ネットワークは、例えば有線通信網であってもよい。

前記撮像装置３０は、前記作業現場における少なくとも一つの建設機械１００を含む画像の時系列データである時系列画像データを取得する。すなわち、前記撮像装置３０は、前記画像を所定の時間間隔で周期的に撮像する。前記撮像装置３０により撮像された前記画像は、前記カメラコントローラ４０に逐次入力される。各カメラによる撮像の時間間隔は、例えば１／６０秒、１／３０秒、１／１０秒、１秒などに設定される。

図１に示すように、本実施形態では、前記撮像装置３０は、第１のカメラ３０Ａと、第２のカメラ３０Ｂとを含む。前記第１のカメラ３０Ａは、前記作業現場において、前記第１の建設機械１００Ａを含む画像の時系列データである時系列画像データを取得することが可能な位置に配置される。前記第２のカメラ３０Ｂは、前記作業現場において、前記第２の建設機械１００Ｂを含む画像の時系列データである時系列画像データを取得することが可能な位置に配置される。

前記カメラコントローラ４０は、撮像データ記憶部４１と、タイムスタンプ処理部４２と、カメラ通信部４３と、を備える。

前記撮像データ記憶部４１は、前記第１のカメラ３０Ａ及び前記第２のカメラ３０Ｂのそれぞれから入力される前記時系列画像データを記憶する。

前記タイムスタンプ処理部４２は、前記時系列画像データに時刻情報を付与する。具体的には次の通りである。前記タイムスタンプ処理部４２は、前記第１のカメラ３０Ａ及び前記第２のカメラ３０Ｂのそれぞれにより撮像された前記画像が前記カメラコントローラ４０に入力された時刻を、前記画像と対応付けて記憶する。

前記カメラ通信部４３は、前記ネットワークを介して前記メインコントローラ６０（具体的には後述の通信部６１）との間でデータを送受信可能なように構成されている。前記カメラ通信部４３は、前記画像と、当該画像に付与された前記時刻情報と、を対応付けて送信する。送信された前記画像及び前記時刻情報は、前記メインコントローラ６０に入力される。

前記メインコントローラ６０は、通信部６１と、データ記憶部６２と、姿勢推定部６３と、作業内容判定部６４と、データ同期部６５と、データ量削減部６６と、検索部６７と、ＨＭＩ６８，６９（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）と、を備える。

前記通信部６１は、前記ネットワークを介して前記機械コントローラ５０及び前記カメラコントローラ４０のそれぞれとの間でデータを送受信可能なように構成されている。また、前記通信部６１は、前記ネットワークを介して前記クラウドサーバ７０（具体的には後述のサーバ通信部７１）との間でデータを送受信可能なように構成されている。

前記データ記憶部６２は、前記機械コントローラ５０から入力される前記時系列動作データを記憶するとともに、前記カメラコントローラ４０から入力される前記時系列画像データを記憶する。

前記姿勢推定部６３は、前記時系列画像データを構成する前記画像に基づいて前記建設機械１００の姿勢を推定し、推定された前記姿勢に関する姿勢推定情報を生成する。本実施形態では、前記姿勢推定情報は、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記バケット１０６の姿勢、前記下部走行体１０１に対する前記上部旋回体１０２の姿勢、及び水平面に対する前記下部走行体１０１又は前記上部旋回体１０２の姿勢を含む。より具体的には、前記姿勢推定情報は、前記ブーム角度（ブーム推定角度）、前記アーム角度（アーム推定角度）、前記バケット角度（バケット推定角度）、前記旋回角度（旋回推定角度）、及び前記車体傾斜角度（車体傾斜推定角度）を含む。

具体的に、前記姿勢推定部６３は、前記第１のカメラ３０Ａにより取得される前記第１の建設機械１００Ａの画像に基づいて前記第１の建設機械１００Ａの姿勢を推定する。同様に、前記姿勢推定部６３は、前記第２のカメラ３０Ｂにより取得される前記第２の建設機械１００Ｂの画像に基づいて前記第２の建設機械１００Ｂの姿勢を推定する。前記姿勢推定部６３により推定された前記姿勢推定情報は、前記作業内容判定部６４に入力される。

具体的に、前記姿勢推定部６３は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に前記画像を入力することにより、当該画像に含まれる建設機械１００の複数の特徴点を抽出する。すなわち、前記ニューラルネットワークは、建設機械１００の特徴点に関するデータを用いて予め学習した姿勢推定アルゴリズムである。前記姿勢推定部６３が参照する前記ニューラルネットワークは、例えば、前記建設機械１００（油圧ショベル）の画像と、当該画像中における前記特徴点の座標との対応関係を示す教師データによる学習処理により学習する。

図４は、当該建設機械１００の複数の特徴点の一例を示している。本実施形態における前記ニューラルネットワークでは、前記建設機械１００（油圧ショベル）の複数の特徴点は、アタッチ先端（１）、アタッチ底（２）、アタッチ関節（３）、アーム関節（４）、ブーム関節１（５）、ブーム関節２（６）、本体前部（７）、本体右側部（８）、本体後部（９）、本体左側部（１０）、クローラ右前（１１）、クローラ右後（１２）、クローラ左前（１３）、及びクローラ左後（１４）を含む。なお、前記アタッチ先端（１）、前記アタッチ底（２）、及び前記アタッチ関節（３）は、前記バケット１０６の先端、前記バケット１０６の底、及び前記バケット１０６の関節をそれぞれ示す。また、図４において、前記本体左側部（１０）は図示されていない。

図５は、前記データ処理システム１０において前記建設機械１００の姿勢を推定する処理について説明するための図である。図５に示すように、前記ニューラルネットワーク（姿勢推定アルゴリズム）は、入力される前記建設機械１００の画像に基づいて、上記の複数の特徴点のそれぞれの座標を抽出して出力する。そして、前記姿勢推定部６３は、前記ニューラルネットワークから出力された前記複数の特徴点の座標に基づいて、前記建設機械１００の姿勢、具体的には、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。

前記ブーム１０４の姿勢は、例えば、前記上部旋回体１０２に対する前記ブーム１０４の角度（ブーム角度）により特定される。前記アーム１０５の姿勢は、例えば、前記ブーム１０４に対する前記アーム１０５の角度（アーム角度）により特定される。前記先端アタッチメント１０６の姿勢は、例えば、前記アーム１０５に対する前記バケット１０６の角度（バケット角度）により特定される。前記下部走行体１０１の姿勢及び前記上部旋回体１０２の姿勢は、例えば前記下部走行体１０１に対する前記上部旋回体１０２の角度（旋回角度）により特定される。前記姿勢推定部６３により推定された姿勢に関するデータ（姿勢推定情報）は、前記作業内容判定部６４に入力される。

なお、前記姿勢推定部６３は、例えばＯｐｅｎｐｏｓｅ（登録商標）などの技術を用い、前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定してもよい。

前記作業内容判定部６４は、前記姿勢推定部６３により推定される前記第１の建設機械１００Ａの前記姿勢の時系列データである時系列姿勢データに基づいて、当該第１の建設機械１００Ａにより行われた作業内容を判定する。同様に、前記作業内容判定部６４は、前記姿勢推定部６３により推定される前記第２の建設機械１００Ｂの前記姿勢の時系列データである時系列姿勢データに基づいて、当該第２の建設機械１００Ｂにより行われた作業内容を判定する。

具体的に、前記作業内容判定部６４は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、リカレントニューラルネットワーク）に前記姿勢の時系列データを入力することにより、当該姿勢の時系列データに含まれる特徴を抽出する。すなわち、前記ニューラルネットワークは、前記建設機械１００の特徴点の動きに関する時系列データを用いて予め学習した作業分類アルゴリズムである。前記作業内容判定部６４が参照する前記ニューラルネットワークは、例えば、予め定義された複数の作業内容候補と、前記建設機械１００のタグ付けされた前記姿勢の時系列データとの対応関係を示す教師データによる学習処理により学習する。前記予め定義された前記複数の作業内容候補は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業、休車、走行作業などを含む（図７参照）。

前記掘削作業は、前記バケット１０６により地面の土砂を掘削するための作業である。前記整地作業は、前記バケット１０６により地面を整地するための作業である。前記法面整形作業は、切土又は盛土により作られる人工的な斜面である法面を整形するための作業である。前記積み込み作業は、前記バケット１０６に保持された土砂等の保持対象物を別の場所に積み込むための作業である。前記走行作業は、前記作業現場において、前記建設機械１００を次の作業場所に移動させるための作業である。前記休車は、前記積み込み作業、前記持ち上げ作業、前記掘削作業、前記整地作業、前記法面整形作業、前記走行作業などの実際の作業が行われずに、前記建設機械１００を停止させた状態のことをいう。

図６は、前記データ処理システム１０において前記建設機械１００の前記時系列姿勢データを示す図である。図６に示す具体例では、ブーム角度、アーム角度、バケット角度及び旋回角度に関する時系列姿勢データが示されている。

図６に示す具体例は、前記掘削作業が行われているときの前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、この掘削作業の後に行われる積み込み作業が行われているときの建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、を示している。これらの作業のそれぞれは、当該建設機械１００の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械１００の姿勢の時系列の変化は、前記建設機械１００の前記作業内容との関連性があり、当該作業内容の判定の指標となる。具体的には次の通りである。

前記掘削作業は旋回動作を伴わないので、前記掘削作業では、図６に示すように旋回角度は一定である。前記ブーム角度及び前記アーム角度は、当該掘削作業の序盤から終盤にかけて次第に増加する。前記バケット角度は、当該掘削作業の序盤から中盤にかけて次第に増加し、終盤において大きく増加する。

前記積み込み作業は旋回動作を伴うので、前記掘削作業から前記積み込み作業に切り換わるときに、前記旋回角度が増加し始める。前記旋回角度及び前記ブーム角度は、当該積み込み作業の序盤から中盤にかけて次第に増加し、前記アーム角度及び前記バケット角度は、当該積み込み作業の序盤から中盤にかけて一定である。一方、前記旋回角度及び前記ブーム角度は、当該積み込み作業の終盤において一定であり、前記アーム角度及び前記バケット角度は、当該積み込み作業の終盤において次第に減少する。

図７は、前記データ処理システム１０において前記建設機械１００の前記時系列姿勢データから前記作業内容を判定する処理について説明するための図である。図７に示すように、前記ニューラルネットワーク（作業分類アルゴリズム）の出力層は、例えばソフトマックス関数による演算を実行し、前記複数の作業内容候補ごとのスコアを出力する。前記作業内容判定部６４は、前記ニューラルネットワークの出力層から出力された前記複数の作業内容候補ごとのスコアに基づいて、スコアの最も高い前記作業内容候補を前記作業内容として決定する。図７の具体例では、前記作業内容判定部６４は、前記複数の作業内容候補のうち、スコアの最も高い「掘削作業」を前記作業内容として判定する。図７に示す前記スコアは、前記作業内容判定部６４による判定の精度を示すものである。

前記データ同期部６５は、前記時系列画像データ及び前記時系列動作データのそれぞれ付与された前記時刻情報に基づいて、前記時系列画像データと前記時系列動作データとを対応付け、その対応関係を記憶する。具体的には次の通りである。

図８は、前記作業内容判定部６４により判定された建設機械１００による作業内容の時系列の変化の一例を示す図である。図８に示すように、前記作業内容判定部６４により判定された前記建設機械１００による複数の作業内容は、掘削作業Ｗ１１、積み込み作業Ｗ１２、掘削作業Ｗ１３、積み込み作業Ｗ１４、走行作業Ｗ１５及び整地作業Ｗ１６により構成され、図８は、これらの作業がこの順に行われたことを示している。前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。

前記撮像装置３０の前記第１のカメラ３０Ａにより撮像された前記第１の建設機械１００Ａの前記時系列画像データは、前記掘削作業Ｗ１１に対応する第１の画像データと、前記積み込み作業Ｗ１２に対応する第２の画像データと、前記掘削作業Ｗ１３に対応する第３の画像データと、前記積み込み作業Ｗ１４に対応する第４の画像データと、前記走行作業Ｗ１５に対応する第５の画像データと、前記整地作業Ｗ１６に対応する第６の画像データと、を含む。

前記タイムスタンプ処理部４２により付与された前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、前記第３の画像データに対応する第３の時刻情報と、前記第４の画像データに対応する第４の時刻情報と、前記第５の画像データに対応する第５の時刻情報と、前記第６の画像データに対応する第６の時刻情報と、を含む。

前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データと、前記第１の画像データと、を対応付けて記憶する。前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データと、前記第２の画像データと、を対応付けて記憶する。前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第３の時刻情報に対応する時刻情報を有する部分である第３の動作データと、前記第３の画像データと、を対応付けて記憶する。以下同様に、前記データ同期部６５は、前記データ記憶部６２に記憶される前記時系列動作データのうち、前記第４〜第６の時刻情報にそれぞれ対応する時刻情報を有する部分である第４〜第６の動作データのそれぞれと、前記第４〜第６の画像データのそれぞれと、を対応付けて記憶する。

図９は、前記データ処理システム１０において、作業現場毎に設定された削減ルールの一例を示す図である。図９に示すように、作業現場Ａについての前記削減ルールは、前記データ記憶部６２に記憶される前記時系列画像データのうち、前記掘削作業に対応する部分である掘削画像データのデータ量を２０％の削減率（間引き率）で削減するという削減ルールと、前記積み込み作業に対応する部分である積み込み画像データのデータ量を３０％の削減率で削減するという削減ルールと、前記整地作業に対応する部分である整地画像データのデータ量を４０％の削減率で削減するという削減ルールと、前記法面整形作業に対応する部分である法面整形画像データのデータ量を５０％の削減率で削減するという削減ルールと、前記走行作業に対応する部分である走行画像データのデータ量を６０％の削減率で削減するという削減ルールと、前記建設機械１００が停止している状態（停止作業）に対応する部分である停止画像データのデータ量を９９％の削減率で削減するという削減ルールと、を含む。

また、図９に示すように、作業現場Ａについての前記削減ルールは、前記データ記憶部６２に記憶される前記時系列画像データのうち、異常が発生した作業に対応する部分である異常画像データのデータ量を０％の削減率で削減するという削減ルールをさらに含む。すなわち、「データ量を０％の削減率で削減する」とは、当該異常画像データの全てを残存させることを意味する。前記異常が発生した作業には、例えば、建設機械１００の故障が発生した作業、予め設定された禁止操作が行われた作業などを含む。前記禁止操作としては、例えば、前記掘削作業と前記走行作業とを同時に行う操作が設定されている。前記異常が発生した作業に該当するとともに、上述した他の作業にも該当する場合には、前記異常が発生した作業に関する削減ルールが優先される。

また、図９に示すように、作業現場Ｂについての削減ルールは、作業現場Ａについての前記削減ルールとは異なる内容を含む。

前記作業現場Ａ及び前記作業現場Ｂの何れの現場においても、前記異常が発生した作業の重要度が高いため、当該作業に関する作業データの削減率が小さくなるように（データ残存割合が大きくなるように）、前記削減ルールが設定されている。また、前記作業現場Ａでは、前記掘削作業の重要度が高いため、当該掘削作業に関する作業データの削減率が小さくなるように前記削減ルールが設定されている。一方、前記作業現場Ｂでは、前記整地作業及び前記法面整形作業の重要度が高いため、これらの作業に関する作業データの削減率が小さくなるように前記削減ルールが設定されている。

例えば作業現場Ａに関し、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち、図８に示す掘削作業Ｗ１１に対応する部分である掘削画像データのデータ量を、図９に示す前記削減ルールに基づいて、２０％の削減率で削減する。同様に、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち、図８に示す積み込み作業Ｗ１２に対応する部分である積み込み画像データのデータ量を、図９に示す前記削減ルールに基づいて、３０％の削減率で削減する。図８に示すその他の作業についても同様にデータ量が削減される。

前記画像データのデータ量の削減方法は、特に限定されない。例えば、削減対象の画像データのデータ量は、フレームレートを前記削減ルールで設定された削減率に基づいて小さくすることにより削減されてもよい。この場合、例えば図８に示す掘削作業Ｗ１１に対応する部分である掘削画像データのデータ量は、削減後のフレームレートが削減前のフレームレートに０．８をかけた値となるように削減される。

また、本実施形態では、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列動作データのうち、図８に示す前記掘削作業Ｗ１１の時刻情報に対応する時刻情報を有する部分である掘削動作データのデータ量を削減する。同様に、前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列動作データのうち、図８に示す前記積み込み作業Ｗ１２の時刻情報に対応する時刻情報を有する部分である積み込み動作データのデータ量を削減する。図８に示すその他の作業についても同様に動作データのデータ量が削減される。

前記動作データのデータ量の削減ルールは、例えば、図９に示す画像データのデータ量の削減ルールと同じであってもよい。この場合、例えば、図８に示す前記掘削作業Ｗ１１の時刻情報に対応する時刻情報を有する部分である掘削動作データのデータ量は、２０％の削減率で削減される。また、前記動作データのデータ量の削減ルールは、例えば、図９に示す画像データのデータ量の削減ルールと異なっていてもよい。具体的に、例えば、削減される画像データに対応する動作データは全て消去されてもよい。

図１０は、前記作業内容判定部により判定された建設機械による作業内容の時系列の変化の他の例を示す図である。図１０に示すように、前記作業内容判定部６４により判定された前記建設機械１００による複数の作業内容は、複数の掘削作業と複数の積み込み作業とにより構成される繰り返し作業を含む。図１０に示す具体例では、前記掘削作業と前記積み込み作業の組み合わせが複数回（図１０では５回）連続して行われる。前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。

前記作業内容判定部６４は、図１０に示す複数の作業Ｗ２１〜Ｗ３０のそれぞれの作業内容を判定するときに、上述した図７に示すようにスコアを出力する。

前記データ量削減部６６は、前記データ記憶部６２に記憶された前記時系列画像データのうち前記複数の掘削作業及び前記複数の積み込み作業に対応する部分である複数の掘削画像データ及び複数の積み込み画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減する。

具体的に、前記データ量削減部６６は、例えば、前記複数の掘削作業Ｗ２１，Ｗ２３，Ｗ２５，Ｗ２７，Ｗ２９のうち、前記スコアの最も低い掘削作業に対応する前記画像データを削減してもよい。この場合、前記データ量削減部６６は、前記スコアの最も低い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データも削減してもよい。

また、前記データ量削減部６６は、例えば、前記複数の掘削作業Ｗ２１，Ｗ２３，Ｗ２５，Ｗ２７，Ｗ２９のうち、前記スコアの最も低い掘削作業に対応する前記画像データと、前記スコアの最も高い掘削作業に対応する前記画像データとを削減してもよい。この場合、前記データ量削減部６６は、前記スコアの最も低い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データと、前記スコアの最も高い掘削作業と組み合わせられている前記積み込み作業に対応する前記画像データも削減してもよい。

前記検索部６７は、検索条件が入力された場合に前記データ記憶部６２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。上述したように、前記データ記憶部６２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶するように構成される。また、前記データ記憶部６２は、前記複数のセンサにより取得される前記時系列動作データをさらに記憶していてもよい。

図１及び図２に示すように、前記ＨＭＩ６８，６９は、オペレータが前記検索条件を入力することができるキーボードなどの入力部６８と、前記検索部６７により検索された前記情報が出力される表示装置などの表示部６９と、を含む。

図１１は、前記オペレータが前記検索条件を入力するときの前記表示部６９の画面の一例を示す図である。前記オペレータは、当該画面において、例えば、作業種類（作業内容）、日付、車両ＩＤ、センサ条件などを入力することができる。

図１２は、前記検索部６７により検索された前記情報が出力された前記表示部６９の画面の一例を示す図である。図１２に示す具体例では、検索結果として、車両ＩＤと、作業開始時間と、作業時間と、建設機械１００の画像とが前記表示部６９に表示される。

図１３は、前記検索部６７により検索された前記情報が出力された前記表示部６９の画面の他の例を示す図である。図１３に示す具体例では、検索結果として、日付と、建設機械１００の画像と、作業内容と、センサにより検出される動作パラメータとが前記表示部６９に表示される。

図１４は、前記データ処理システム１０において取得される情報に基づいて生成される作業日報の一例を示す図である。

図２に示すように、前記クラウドサーバ７０は、サーバ通信部７１と、データ記憶部７２と、検索部７３と、を備える。

前記サーバ通信部７１は、前記ネットワークを介して前記メインコントローラ６０の通信部６１との間でデータを送受信可能なように構成されている。

前記データ記憶部７２は、前記通信部６１及び前記サーバ通信部７１を介して前記メインコントローラ６０の前記データ記憶部６２に記憶されているデータが入力され、当該データを記憶する。前記データ記憶部７２は、前記データ量削減部６６により削減された前記時系列画像データを記憶する。また、前記データ記憶部７２は、前記作業内容判定部６４により判定された前記複数の作業内容を作業履歴として記憶してもよい。また、前記データ記憶部７２は、前記複数のセンサにより取得される前記時系列動作データをさらに記憶していてもよい。

前記検索部７３は、検索条件が入力された場合に前記データ記憶部７２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。前記クラウドサーバ７０は、前記ネットワークを介して例えば端末８０との間でデータを送受信可能に構成されていてもよい。当該端末８０は、作業現場の作業を管理する管理者、作業現場の作業を行うオペレータなどの作業関係者が使用する携帯端末機などのコンピュータにより構成される。作業関係者は、前記端末８０の入力部に前記検索条件を入力する。

前記検索部７３は、検索条件が入力された場合に前記データ記憶部７２に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力する。出力された前記情報は、前記端末８０に入力される。これにより、前記作業関係者は、前記端末８０の表示部に表示される前記情報を確認することができる。

図１５は、前記データ処理システム１０の演算処理を示すフローチャートである。図１５に示すように、前記メインコントローラ６０の前記通信部６１は、前記撮像装置３０により取得される前記画像の前記時系列画像データを受信する（ステップＳ１）。また、前記通信部６１は、前記複数のセンサにより取得される前記動作パラメータの時系列動作データを受信する（ステップＳ２）。前記通信部６１は、前記時系列画像データを複数回に分けて受信してもよく、前記時系列画像データを一括で受信してもよい。同様に、前記通信部６１は、前記時系列動作データを複数回に分けて受信してもよく、前記時系列動作データを一括で受信してもよい。

次に、前記データ記憶部６２は、前記時系列画像データ及び前記時系列動作データを記憶する（ステップＳ３）。

次に、前記姿勢推定部６３及び前記作業内容判定部６４は、前記時系列画像データに基づいて、複数の作業内容を判定する（ステップＳ４）。

次に、前記データ同期部６５は、前記時系列画像データと前記時系列動作データを同期可能であるか否かを判定する（ステップＳ５）。

前記時系列画像データに前記時刻情報が付与され、前記時系列動作データに前記時刻情報が付与されている場合（ステップＳ５においてＹＥＳ）、前記データ同期部６５は、これらの時刻情報に基づいて、前記時系列画像データと前記時系列動作データとを対応付けることにより、これらのデータを同期する（ステップＳ６）。

次に、前記データ量削減部６６は、前記作業内容判定部６４により判定された前記複数の作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部６２に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減する。前記データ量削減部６６は、前記作業内容判定部６４により判定された前記複数の作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部６２に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減する（ステップＳ７）。

次に、前記通信部６１は、前記データ記憶部６２に記憶されているデータの一部又は全部を前記クラウドサーバ７０に送信する（ステップＳ８）。

なお、前記時系列動作データに時刻情報が適切に付与されていない場合などにように、前記ステップＳ５において、前記時系列画像データと前記時系列動作データを同期できない場合（ステップＳ５においてＮＯ）、前記メインコントローラ６０は、前記姿勢情報生成部５２により生成された前記姿勢情報と、前記姿勢推定部６３により推定された前記姿勢推定情報とを比較し、前記時系列画像データに対応する前記時系列動作データを検索する（ステップＳ９）。前記データ同期部６５は、検索された前記時系列動作データと前記時系列画像データとを同期する（ステップＳ６）。

以上説明したように、前記データ処理システム１０では、作業現場における建設機械１００の画像の時系列データを含む作業データのデータ量を、当該建設機械１００の作業内容に応じて削減することができる。これにより、データ量が削減された前記時系列画像データを前記データ記憶部６２に記憶させることができる。また、前記通信部を介したデータの送受信において通信量を削減することもできる。

［変形例］
本発明は、以上説明した実施形態に限定されない。本発明は、例えば次のような態様を含むことが可能である。

（Ａ）データ量削減部について
前記実施形態では、前記データ量削減部６６は、前記時系列画像データの前記データ量及び前記時系列動作データの前記データ量の両方を削減するように構成されるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、前記データ量削減部が少なくとも前記時系列画像データの前記データ量を削減するように構成されていればよい。この場合、前記複数のセンサ２１〜２７の一部又は全部は省略可能であり、前記データ同期部６５は省略可能である。

（Ｂ）撮像装置について
前記撮像装置３０は、例えばステレオカメラにより構成されていてもよい。

（Ｃ）クラウドサーバについて
前記実施形態では、前記データ処理システム１０は、前記クラウドサーバ７０を備えるが、前記クラウドサーバ７０は省略可能である。

（Ｄ）タイムスタンプ処理部について
前記実施形態では、前記カメラコントローラ４０及び前記機械コントローラ５０のそれぞれがタイムスタンプ処理部を備えるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、例えば、前記メインコントローラ６０がタイムスタンプ処理部を備え、このタイムスタンプ処理部が前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与してもよい。この場合、前記カメラコントローラ４０及び前記機械コントローラ５０のそれぞれのタイムスタンプ処理部を省略することができる。

（Ｅ）建設機械について
前記先端アタッチメントは、バケットに限られず、例えばグラップル、圧砕機、ブレーカ、フォークなどの他の先端アタッチメントであってもよい。また、前記建設機械は、前記油圧ショベルに限られず、他の建設機械であってもよい。また、前記実施形態では、前記建設機械は、走行可能な下部走行体１０１を備えるが、本発明はこれに限られない。本発明では、前記建設機械は、特定の場所に設置された基台に上部旋回体１０２が支持される構造を有するものであってもよい。

（Ｆ）画像に基づく建設機械の姿勢の推定について
前記実施形態では、前記姿勢推定部６３による前記画像に基づく前記建設機械１００の姿勢の推定が、予め機械学習したニューラルネットワーク（姿勢推定アルゴリズム）を用いて行われるが、前記データ処理システムは、この態様に限られない。前記データ処理システムでは、前記建設機械の姿勢の推定は、前記ニューラルネットワークを用いた手法以外の他の手法により行われるものであってもよい。前記他の手法としては、例えば、前記ニューラルネットワークを用いた手法以外の機械学習を用いた手法、時系列アルゴリズムなどを例示できる。

（Ｇ）その他
前記実施形態に係るデータ処理システム２０は、検索部６７，７３を備えるが、これらの一方又は両方は省略可能である。また、前記実施形態に係るデータ処理システム２０の機械コントローラ５０は、姿勢情報生成部５２を備えるが、当該姿勢情報生成部５２は省略可能である。

１０ データ処理システム
２１〜２５ 角度センサ
２６ 測位センサ
２７ 回転数センサ
３０ 撮像装置
３０Ａ 第１のカメラ
３０Ｂ 第２のカメラ
４０ カメラコントローラ
４２ タイムスタンプ処理部
５０ 機械コントローラ
５３ タイムスタンプ処理部
６０ メインコントローラ
６１ 通信部
６２ データ記憶部
６３ 姿勢推定部
６４ 作業内容判定部
６５ データ同期部
６６ データ量削減部
６７ 検索部
７０ クラウドサーバ
７２ データ記憶部
７３ 検索部
８０ 端末
１００ 建設機械

Claims (6)

1. 建設機械の作業に関する作業データのデータ量を削減するためのデータ処理システムであって、
   作業現場における前記建設機械を含む画像の時系列データである時系列画像データを取得する撮像装置と、
   前記時系列画像データを記憶するデータ記憶部と、
   前記時系列画像データに基づいて前記建設機械の少なくとも一つの作業内容を判定する作業内容判定部と、
   データ量削減部と、を備え、
   前記データ量削減部は、
   前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第１の特定作業に対応する部分である第１の画像データのデータ量を、予め設定された第１の削減ルールに基づいて削減し、
   前記作業内容判定部により判定された前記少なくとも一つの作業内容が予め設定された特定作業であって前記第１の特定作業とは異なる第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列画像データのうち前記第２の特定作業に対応する部分である第２の画像データのデータ量を、予め設定された削減ルールであって前記第１の削減ルールとは異なる第２の削減ルールに基づいて削減するように構成される、建設機械のデータ処理システム。
2. 請求項１に記載の建設機械のデータ処理システムであって、
   前記第１の削減ルールは、前記第１の画像データの前記データ量を予め設定された第１の削減率で削減するように設定され、
   前記第２の削減ルールは、前記第２の画像データの前記データ量を予め設定された削減率であって前記第１の削減率とは異なる第２の削減率で削減するように設定される、建設機械のデータ処理システム。
3. 請求項１又は２に記載の建設機械のデータ処理システムであって、
   前記建設機械の動作に対応して変化する動作パラメータの時系列データである時系列動作データを取得する少なくとも一つのセンサと、
   前記時系列画像データ及び前記時系列動作データのそれぞれに時刻情報を付与するタイムスタンプ処理部と、をさらに備え、
   前記データ記憶部は、前記時系列動作データをさらに記憶するように構成され、
   前記時系列画像データの前記時刻情報は、前記第１の画像データに対応する第１の時刻情報と、前記第２の画像データに対応する第２の時刻情報と、を含み、
   前記データ量削減部は、
   前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第１の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第１の時刻情報に対応する時刻情報を有する部分である第１の動作データのデータ量を削減し、
   前記作業内容判定部により判定された前記少なくとも一つの作業内容が前記第２の特定作業を含む場合に、前記データ記憶部に記憶された前記時系列動作データのうち、前記第２の時刻情報に対応する時刻情報を有する部分である第２の動作データのデータ量を削減するように構成される、建設機械のデータ処理システム。
4. 請求項１〜３の何れか１項に記載の建設機械のデータ処理システムであって、
   前記作業内容判定部は、前記少なくとも一つの作業内容が予め設定された複数の第３の特定作業により構成される繰り返し作業を含む場合に、前記複数の第３の特定作業のそれぞれの判定の精度を示すスコアを出力するように構成され、
   前記データ量削減部は、前記データ記憶部に記憶された前記時系列画像データのうち前記複数の第３の特定作業に対応する部分である複数の第３の画像データの少なくとも一つのデータ量を、前記スコアに基づいて削減するように構成される、建設機械のデータ処理システム。
5. 請求項１〜４の何れか１項に記載の建設機械のデータ処理システムであって、
   前記データ記憶部は、前記作業内容判定部により判定された前記少なくとも一つの作業内容を作業履歴として記憶するように構成され、
   前記データ処理システムは、検索条件の入力を受ける検索部をさらに備え、
   前記検索部は、前記検索条件が入力された場合に前記データ記憶部に記憶された前記作業履歴から前記検索条件に対応する情報を検索し、検索された前記情報を出力するように構成される、建設機械のデータ処理システム。
6. 請求項１〜５の何れか１項に記載の建設機械のデータ処理システムであって、
   前記時系列画像データを構成する前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部をさらに備え、
   前記作業内容判定部は、前記姿勢推定部により推定される前記姿勢の時系列データである時系列姿勢データに基づいて前記作業内容を判定する、建設機械のデータ処理システム。