JP2022083497A - 動作把握システム - Google Patents

Abstract

【課題】製造コストの低減を図ることのできる動作把握システムを提供する。【解決手段】動作把握システム１０は、時系列で変化する稼働に伴う機械の情報を特徴量とする特徴ベクトルを時分割で演算し、複数の特徴ベクトルを複数のクラスタに分類して識別ＩＤを付与することにより分類モデル１７５を作成し、分類モデル１７５に基づいて時分割で演算された複数の特徴ベクトルに識別ＩＤを付与し、機械の所定の動作に対応して時系列で変化する識別ＩＤのパターンを所定の動作の識別情報と対応付けることによりＩＤパターンモデル１８４を作成し、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作を把握するための出力情報を生成し、出力情報を表示装置１６５によって出力させる制御装置１５０を備える。【選択図】図２

Description

本発明は、動作把握システムに関する。

機械を効率的に動作させるためには、機械の動作を適切に把握することが有効である。動作を把握するシステムとしては、複数の加速度センサからの情報に基づいて動きを認識する動き認識システムが知られている（特許文献１参照）。

特許文献１に記載のシステムでは、複数の加速度センサからのデータを所定の時間幅で切り出し、予め用意されている複数の標準変化パターンとの類似度を要素とする特徴量ベクトルを求め、各特徴量ベクトルを合成したベクトルを特徴データとし、特徴データと動作辞書中の部分動作に属するサンプル観測の特徴データを代表するデータとの類似度を求め、類似度の高い代表データに付与されているラベルを特徴データに付与する。特許文献１に記載のシステムでは、特徴データにラベルが付与される度に、それまでの実観測の特徴データに付与されたラベル列と動作辞書中の部分動作のラベル列との間でマッチングを行って、動作辞書中の尤度の高いサンプル動作をその時の環境における動きとして認識する。

特開２００７－１８７５５５号公報

特許文献１に記載のシステムでは、サンプル観測の特徴データの列からサンプル動作に含まれる部分動作を抽出し、抽出した部分動作に自然言語的名称のラベル（移動、着席、離席等）を付与する。特許文献１に記載のシステムでは、部分動作に自然言語的名称のラベルを付与するためのテーブルを予め作成しておく必要があるが、部分動作ごとにラベルを設定する場合、テーブルの作成に手間がかかり、システムの製造コストが増加してしまうおそれがある。

本発明は、製造コストの低減を図ることのできる動作把握システムを提供することを目的とする。

本発明の一態様による動作把握システムは、情報を出力する表示装置と、時系列で変化する稼働に伴う機械の情報を取得し、前記機械の情報に基づいて、前記機械の動作を把握するための出力情報を生成し、前記表示装置によって前記出力情報を出力させる制御装置と、を備える。前記制御装置は、時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記時分割で演算された複数の特徴ベクトルを複数のクラスタに分類し、前記複数のクラスタに識別ＩＤを付与することにより、分類モデルを作成する分類モデル作成処理と、時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記機械の所定の動作に対応して時系列で変化する前記識別ＩＤのパターンを前記所定の動作の識別情報と対応付けて記憶することにより、ＩＤパターンモデルを作成するＩＤパターンモデル作成処理と、時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作を把握するための出力情報を生成し、前記出力情報を前記表示装置によって出力させる情報出力処理と、を実行可能である。

本発明によれば、製造コストの低減を図ることのできる動作把握システムを提供することができる。

作業機械の管理システムの構成を示す図。 本発明の第１実施形態に係る動作把握システムの機能ブロック図。 多次元収集データテーブルの一例について示す図。 管理サーバにより実行される分類モデル作成処理について示すフローチャート。 特徴量データテーブルの一例について示す図。 分類モデルの一例について示す図。 管理サーバにより実行されるＩＤパターンモデル作成処理について示すフローチャート。 識別ＩＤテーブルの一例について示す図。 動作データテーブルの一例について示す図。 ＩＤパターン抽出処理について説明する図。 特徴量及び識別ＩＤの時間変化を示すグラフ。 管理サーバにより実行される情報出力処理について示すフローチャート。 ＤＰマッチングの特徴を説明する図。 動作Ａに対応する登録ＩＤパターン（「２０３」→「７０」→「２０３」）と、識別ＩＤテーブルの識別ＩＤ列との類似度（コスト）について示す図。 表示装置の表示画面に表示される類似度画像の一例について示す図。 本発明の第２実施形態に係る動作把握システムの出力制御部及び出力制御部が用いるデータについて示す図。 表示装置の表示画面に表示される動作の累積発生回数を表す画像の一例について示す図。 表示装置の表示画面に表示される動作の発生頻度を表す画像の一例について示す図。 本発明の第３実施形態に係る動作把握システムの出力制御部及び出力制御部が用いるデータについて示す図。 本発明の第３実施形態に係る動作把握システムの表示装置の表示画面に表示される画像の一例について示す図。 本発明の第３実施形態の変形例１に係る動作把握システムの出力制御部及び出力制御部が用いるデータについて示す図。 識別ＩＤが「５」→「７」→「１０」の順に変化したときに補間生成されるモーションデータについて説明する図。 本発明の第３実施形態の変形例２に係る動作把握システムの表示装置の表示画面に表示される画像の一例について示す図。 本発明の第４実施形態に係る動作把握システムの出力制御部及び出力制御部が用いるデータについて示す図。 変形例１－１に係る動作把握システムの機能ブロック図。 変形例１－２に係る動作把握システムの機能ブロック図。

図面を参照して、本発明の実施形態に係る動作把握システムについて説明する。

＜第１実施形態＞
図１～図１５を参照して、本発明の第１実施形態に係る動作把握システム１０について説明する。図１は、作業機械の管理システム１の構成を示す図である。管理システム１は、作業現場で作業を行う作業機械１０１を管理する管理装置１０５と、作業現場で作業を行う油圧ショベル１０１Ａ、ダンプトラック１０１Ｂ、及び作業ロボット１０１Ｃ等の作業機械１０１を含む。

油圧ショベル１０１Ａは、走行体２と、走行体２上に旋回可能に設けられた旋回体３と、旋回体３に取り付けられる多関節型の作業装置４と、を備える作業機械１０１である。作業装置４は、ブーム１１、アーム１２及びバケット１３、並びにこれらを駆動する油圧シリンダ（ブームシリンダ１１ａ、アームシリンダ１２ａ及びバケットシリンダ１３ａ）を有する。ダンプトラック１０１Ｂは、走行体と、走行体上に設けられ積荷が積み込まれる荷台（ベッセル）及び荷台を上下方向に回動（起伏動）させる油圧シリンダを有する作業装置と、を備えた作業機械１０１である。作業ロボット１０１Ｃは、多関節型のアーム及び物を把持する把持部を有する作業装置を備えた作業機械１０１である。

管理装置１０５は、作業機械１０１の状態を遠隔で管理（把握、監視）する外部装置である。管理装置１０５は、例えば、作業機械１０１の製造業者（メーカー）の本社、支社、工場等の施設、作業機械１０１のレンタル会社、サーバの運営を専門的に行うデータセンタ、作業機械１０１を所有するオーナーの施設等に設置される。

第１実施形態では、管理装置１０５が、作業機械１０１からの情報に基づいて作業機械１０１の動作を把握する動作把握システム１０を構成する。以下では、主に、動作把握システム１０によって動作が把握される作業機械１０１が、油圧ショベル１０１Ａである場合を例に説明する。

管理システム１は、作業現場で作業を行う油圧ショベル１０１Ａと、作業現場から離れた場所に設置される管理装置１０５との間で広域ネットワークの通信回線１０９を介して双方向通信を行うことができるように構成されている。すなわち、油圧ショベル１０１Ａと管理装置１０５とは、通信回線１０９を介して情報（データ）の送信及び受信を行うことができる。通信回線１０９は、携帯電話事業者等が展開する携帯電話通信網（移動通信網）、インターネット等である。例えば、図示するように、油圧ショベル１０１Ａと無線基地局１０８とが携帯電話通信網（移動通信網）で接続されている場合、無線基地局１０８は、油圧ショベル１０１Ａから所定の情報を受信すると、受信した情報をインターネットを介して管理装置１０５に送信する。

油圧ショベル１０１Ａは、油圧ショベル１０１Ａの各部を制御する制御装置である車体コントローラ１１０と、車体コントローラ１１０に所定の情報を入力するための入力装置１２０と、複数のセンサ１２１～１２５と、通信装置１２８と、を備える。通信装置１２８は、通信回線１０９に接続される無線基地局１０８と無線通信可能な無線通信装置であって、例えば２．１ＧＨｚ帯等の帯域を感受帯域とする通信アンテナを含む通信インタフェースを有する。通信装置１２８は、無線基地局１０８及び通信回線１０９を介して、管理サーバ１５０等と情報の授受を行う。

管理装置１０５は、管理サーバ１５０と、管理サーバ１５０へ所定の情報を入力するための入力装置１６１と、油圧ショベル１０１Ａから送信される情報（時系列で変化する油圧ショベル１０１Ａの稼動に伴う情報）を受信する通信装置１６２と、管理サーバ１５０からの制御信号に基づいて所定の情報を出力する出力装置である表示装置１６５と、を備える。表示装置１６５は、例えば、液晶ディスプレイ装置であり、管理サーバ１５０からの表示制御信号に基づいて、油圧ショベル１０１Ａの状態に関する情報の表示画像を表示画面１６５ａに表示する。

管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を取得し、油圧ショベル１０１Ａの情報に基づいて、油圧ショベル１０１Ａの動作を把握するための出力情報を生成し、表示装置（出力装置）１６５を制御することにより、表示装置（出力装置）１６５によって出力情報を出力させる制御装置として機能する。

車体コントローラ１１０及び管理サーバ１５０は、動作回路としてのＣＰＵ（Central Processing Unit）１１１,１５１、記憶装置としてのＲＯＭ（Read Only Memory）１１２，１５２、記憶装置としてのＲＡＭ（Random Access Memory）１１３，１５３、入力インタフェース１１４，１５４、出力インタフェース１１５，１５５、及びその他の周辺回路を備えたコンピュータで構成される。なお、管理サーバ１５０及び車体コントローラ１１０は、それぞれ１つのコンピュータで構成してもよいし、複数のコンピュータで構成してもよい。

ＲＯＭ１１２，１５２は、ＥＥＰＲＯＭ等の不揮発性メモリであり、各種演算が実行可能なプログラムが格納されている。すなわち、ＲＯＭ１１２，１５２は、本実施形態の機能を実現するプログラムを読み取り可能な記憶媒体である。ＲＡＭ１１３，１５３は揮発性メモリであり、ＣＰＵ１１１，１５１との間で直接的にデータの入出力を行うワークメモリである。ＲＡＭ１１３，１５３は、ＣＰＵ１１１，１５１がプログラムを演算実行している間、必要なデータを一時的に記憶する。管理サーバ１５０及び車体コントローラ１１０は、記憶装置としてのＨＤＤ(Hard Disk Drive)１１６，１５６をさらに備えている。ＨＤＤ１１６，１５６は、不揮発性の大容量記憶装置であり、種々の情報（データ）を記憶する。なお、後述において、各種データ（多次元収集データテーブル１１７、動作データテーブル１１８、分類モデル１７５、ＩＤパターンモデル１８４）をＨＤＤ１１６，１５６に記憶させる例について説明するが、ＨＤＤ１１６，１５６に代えて、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の種々の記憶装置に各種データを記憶させることも可能である。

ＣＰＵ１１１，１５１は、ＲＯＭ１１２，１５２に記憶された制御プログラムをＲＡＭ１１３，１５３に展開して演算実行する処理装置であって、制御プログラムに従って入力インタフェース１１４，１５４及びＲＯＭ１１２，１５２，ＲＡＭ１１３，１５３、ＨＤＤ１１５，１５６等から取り入れた情報（データ）に対して所定の演算処理を行う。入力インタフェース１１４，１５４には、各種装置からの信号が入力される。入力インタフェース１１４，１５４は、入力された信号をＣＰＵ１１１，１５１で演算可能なように変換する。出力インタフェース１１５，１５５は、ＣＰＵ１１１，１５１での演算結果に応じた出力用の信号を生成し、その信号を各種装置に出力する。

図２は、本発明の第１実施形態に係る動作把握システム１０の機能ブロック図である。上述したように、第１実施形態では、管理装置１０５が動作把握システム１０として機能する。動作把握システム１０は、油圧ショベル１０１Ａで収集される情報（以下、収集情報とも記す）を取得し、時系列で変化する油圧ショベル１０１Ａの動作を把握するための処理を行う。

油圧ショベル１０１Ａの収集情報には、油圧ショベル１０１Ａが備える各種センサ１２１～１２５で検出されるセンサ情報、油圧ショベル１０１Ａの車体コントローラ１１０の制御情報が含まれる。車体コントローラ１１０は、油圧ショベル１０１Ａのセンサ情報及び制御情報を所定のサンプリング周期で繰り返し取得し、ＨＤＤ１１６に記憶し、多次元収集データテーブル１１７を作成する。多次元収集データテーブル１１７は、時系列に変化する複数種類のデータ（多次元の収集情報）からなる。

図３は、多次元収集データテーブル１１７の一例について示す図である。図３に示すように、多次元収集データテーブル１１７は、時系列で変化する油圧ショベル１０１Ａの収集情報で構成される。具体的には、多次元収集データテーブル１１７は、時系列に、同一時刻、同一サンプリング周期で取得された多次元の収集情報が、取得した時刻とともにＨＤＤ１１６に記憶されることにより作成される。なお、説明をわかりやすくするため、サンプリング周期を１[ｓｅｃ]としているが、実際には、数[ｍｓｅｃ]～数十[ｍｓｅｃ]程度である。

図３に示すように、多次元収集データテーブル１１７を構成する複数の収集情報には、センサ情報として、例えば、以下で説明するブームシリンダ１１ａのボトム圧力Ｐｂ、ブームシリンダ１１ａのロッド圧力Ｐｒ、ブーム操作量Ｌｂ、ブーム角度α、及び外気温度Ｔｏが含まれる。

図１に示すように、ブームシリンダ１１ａは、ブーム１１を駆動させる油圧シリンダである。油圧シリンダは、一端が閉塞された有底筒状のシリンダチューブと、シリンダチューブの他端の開口を塞ぐヘッドカバーと、ヘッドカバーを貫通し、シリンダチューブに挿入されるシリンダロッドと、シリンダロッドの先端に設けられ、シリンダチューブ内をロッド側室とボトム側室とに区画するピストンと、を備える。ブームシリンダ１１ａは、その一端側がブーム１１に接続され他端側が旋回体３のフレームに接続されている。

油圧ショベル１０１Ａは、ブームシリンダ１１ａのボトム側室の圧力を検出する圧力センサ（ボトム圧センサ）１２１を有する。車体コントローラ１１０は、ボトム圧センサ１２１で検出されたブームシリンダ１１ａのボトム圧力Ｐｂを取得する。油圧ショベル１０１Ａは、ブームシリンダ１１ａのロッド側室の圧力を検出する圧力センサ（ロッド圧センサ）１２２を有する。車体コントローラ１１０は、ロッド圧センサ１２２で検出されたブームシリンダ１１ａのロッド圧力Ｐｒを取得する。なお、図示しないが、車体コントローラ１１０は、同様に、アームシリンダ１２ａ及びバケットシリンダ１３ａのロッド圧力及びボトム圧力を取得する。

油圧ショベル１０１Ａは、ブーム１１（ブームシリンダ１１ａ）を操作するブーム操作レバー、及びブーム操作レバーの操作量を検出するブーム操作センサ１２３を有する。車体コントローラ１１０は、ブーム操作センサ１２３で検出されたブーム操作量を取得する。なお、図示しないが、車体コントローラ１１０は、同様に、アーム１２（アームシリンダ１２ａ）及びバケット１３（バケットシリンダ１３ａ）の操作量を取得する。

油圧ショベル１０１Ａは、旋回体３に対するブーム１１の回動角度を検出するブーム角度センサ１２４を有する。車体コントローラ１１０は、ブーム角度センサ１２４で検出されたブーム角度αを取得する。なお、図示しないが、車体コントローラ１１０は、同様に、ブーム１１に対するアーム１２の回動角度（アーム角度）及びアーム１２に対するバケット１３の回動角度（バケット角度）を取得する。ブーム角度α、アーム角度及びバケット角度を検出するセンサは、作業装置４の姿勢を検出するための姿勢センサを構成する。

油圧ショベル１０１Ａは、外気温度Ｔｏを検出する温度センサ１２５を有する。車体コントローラ１１０は、温度センサ１２５で検出された外気温度Ｔｏを取得する。なお、図示しないが、車体コントローラ１１０は、エンジン冷却水の温度、及び作動油の温度を取得する。

さらに、図示しないが、多次元収集データテーブル１１７を構成する複数の情報には、油圧ショベル１０１Ａを制御するための制御情報が含まれる。制御情報には、例えば、油圧ポンプの吐出容量の目標値（油圧ポンプを制御する制御信号）が含まれる。油圧ショベル１０１Ａは、エンジンにより駆動され、作業装置４の油圧シリンダ、旋回体３の旋回用油圧モータ、及び走行体２の走行用油圧モータ等の油圧アクチュエータに作動流体としての作動油を供給する油圧ポンプと、油圧ポンプから油圧アクチュエータに供給される作動油の方向及び流量を制御する流量制御弁と、を備える。

流量制御弁は、操作レバーの操作に応じて動作する。例えば、ブームシリンダ１１ａに供給される作動油の流れを制御する流量制御弁は、ブーム操作レバーの操作に応じて動作する。流量制御弁が動作することにより、ブームシリンダ１１ａのボトム側室（またはロッド側室）に油圧ポンプから吐出された作動油が導かれ、ロッド側室（またはボトム側室）から作動油がタンクに排出されることにより、ブームシリンダ１１ａが伸長（または収縮）する。これにより、ブーム１１が上方（または下方）に回動する。

油圧ポンプは、一対の入出力ポートを有する傾転斜板機構（不図示）と、斜板の傾斜角を調整して吐出容量（押しのけ容積）を調整するレギュレータと、を備えている。車体コントローラ１１０は、吐出圧センサで検出される油圧ポンプの吐出圧に基づいて、油圧ポンプの吐出容量の目標値を演算する。なお、吐出圧センサは、油圧ポンプと流量制御弁との間に設けられる。車体コントローラ１１０は、油圧ポンプの吐出容量を目標値とするための制御信号をレギュレータに出力する。また、車体コントローラ１１０は、油圧ポンプの吐出容量の目標値を制御情報の一つとしてＨＤＤ１１６に記憶する。

以上のように、車体コントローラ１１０は、油圧ショベル１０１Ａの計測部位に取り付けられたセンサからのセンサ情報及び制御情報を時系列で取得し、ＨＤＤ１１６に蓄積する。なお、車体コントローラ１１０は、ＣＡＮ（Controller Area Network）等の車載ネットワークで接続される別のコントローラから油圧ショベル１０１Ａのセンサ情報を取得し、ＨＤＤ１１６に蓄積してもよい。例えば、車体コントローラ１１０は、エンジンコントローラからエンジン回転数センサで検出された情報を車載ネットワークを介して取得し、ＨＤＤ１１６に蓄積してもよい。

図２に示すように、油圧ショベル１０１Ａの車体コントローラ１１０は、ＲＯＭ１１２に記憶されているプログラムを実行することにより、データ送信部１２９として機能する。データ送信部１２９は、ＨＤＤ１１６に記憶されている多次元収集データテーブル１１７を通信装置１２８によって管理装置１０５に送信する。

管理サーバ１５０は、通信装置１６２によって通信回線１０９を介して、油圧ショベル１０１Ａから多次元収集データテーブル１１７を取得し、ＨＤＤ１５６に記憶する。動作把握システム（管理装置）１０の管理サーバ１５０は、取得した多次元収集データテーブル１１７と、予め作成される分類モデル１７５と、予め作成されるＩＤパターンモデル１８４と、に基づいて、動作を把握（認識）するための処理を行い、その結果を表示装置１６５の表示画面１６５ａに表示させる。

動作把握システム（管理装置）１０の管理サーバ１５０は、ＲＯＭ１５２に記憶されているプログラムを実行することにより、データ取得部１７１、特徴ベクトル生成部１７２、分類部１７３、識別ＩＤ付与部１７４、識別ＩＤ列生成部１８１、ＩＤパターン抽出部１８２、類似度演算部１９１及び表示制御部１９２として機能する。以下、分類モデル１７５の作成処理、ＩＤパターンモデル１８４の作成処理、及び、動作の把握処理のそれぞれについて詳しく説明する。

まず、図２～図６を参照して、管理サーバ１５０による分類モデル１７５の作成処理について詳しく説明する。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、時分割で演算された複数の特徴ベクトルＶを複数のクラスタに分類し、複数のクラスタに識別ＩＤを付与することにより、分類モデル１７５を作成する分類モデル作成処理を実行可能である。

図２に示すように、データ取得部１７１は、通信装置１６２によって、油圧ショベル１０１Ａから多次元収集データテーブル１１７を取得し、学習用の多次元収集データテーブル１１７ａとしてＨＤＤ１５６に記憶する。特徴ベクトル生成部１７２は、学習用の多次元収集データテーブル１１７ａに基づいて、特徴量データテーブル１７６（図５参照）を作成する。特徴量データテーブル１７６は、時分割された複数の特徴ベクトルＶで構成されるデータテーブルである。分類部１７３は、時分割された複数の特徴ベクトルＶを複数のクラスタに分類する。識別ＩＤ付与部１７４は、分類部１７３で分類された複数のクラスタのそれぞれの代表特徴ベクトルに識別ＩＤを付与する。これにより、分類モデル１７５が作成される。つまり、特徴ベクトル生成部１７２、分類部１７３及び識別ＩＤ付与部１７４は、多次元収集データテーブル１１７ａに基づいて分類モデル１７５を作成する分類モデル作成部１７０として機能する。

図４は、管理サーバ１５０により実行される分類モデル作成処理について示すフローチャートである。図４に示すフローチャートは、例えば、管理装置１０５の入力装置１６１を用いて、分類モデルの作成指示が管理サーバ１５０に入力されることにより開始される。

図４に示すように、ステップＳ１１０において、データ取得部１７１は、油圧ショベル１０１Ａから通信回線１０９を介して多次元収集データテーブル１１７を取得し、学習用の多次元収集データテーブル１１７ａとしてＨＤＤ１５６に記憶して、ステップＳ１１５へ進む。

学習用の多次元収集データテーブル１１７ａとして取得する多次元収集データテーブル１１７は、作業現場で想定される油圧ショベル１０１Ａの動作の把握に必要な情報を網羅できるように作成しておくことが望ましい。このため、予め試験場などで、様々な状況における様々な作業内容を想定して油圧ショベル１０１Ａを動作させることにより収集した情報によって多次元収集データテーブル１１７を作成しておく。

ステップＳ１１５において、特徴ベクトル生成部１７２は、ステップＳ１１０で取得した多次元収集データテーブル１１７ａを構成する所定の情報を特徴量に変換し、特徴量データテーブル１７６（図５参照）を作成する。センサ情報（物理量）の中には、別の情報（物理量）へ変換した方が後述する分類処理に都合がよい場合がある。また、センサ情報に雑音成分が含まれている場合、それを取り除いた方が、分類処理の精度が向上する場合がある。そこで、所定の収集情報については、別の情報に変換し、変換した値を特徴量とすることが好ましい。

図５は、特徴量データテーブル１７６の一例について示す図である。具体的には、特徴ベクトル生成部１７２は、多次元収集データテーブル１１７ａ（図３参照）を構成する所定の収集情報（物理量）に基づいて、別の情報（物理量）を算出し、算出した情報（物理量）を特徴量として、ＨＤＤ１５６に記憶する。特徴ベクトル生成部１７２は、特徴量と、その特徴量の演算に用いた収集情報が油圧ショベル１０１Ａにおいて取得された時刻とを対応付けて記憶することにより、特徴量データテーブル１７６を作成する。

例えば、特徴ベクトル生成部１７２は、時刻１２：２５：３２に取得したブームシリンダ１１ａのボトム圧力Ｐｂ及びブームシリンダ１１ａのロッド圧力Ｐｒに基づいて、同一時刻（時刻１２：２５：３２）におけるブームシリンダ１１ａのシリンダ出力（シリンダ推力）Ｆｂを演算する。シリンダ出力Ｆｂは、ブームシリンダ１１ａのボトム圧力Ｐｂにピストンのボトム側の受圧面積を乗じたものからブームシリンダ１１ａのロッド圧力Ｐｒにピストンのロッド側の受圧面積を乗じたものを差し引くことにより算出される。なお、特徴ベクトル生成部１７２は、シリンダ出力Ｆｂの雑音成分を取り除くためのフィルタリング処理を行うことが好ましい。

さらに、特徴ベクトル生成部１７２は、シリンダ出力Ｆｂの時系列波形から周波数分析を行い、その時刻における卓越周波数ｆを特徴量としてＨＤＤ１５６に記憶する。なお、ブーム角度α及び外気温度Ｔｏは、そのまま特徴量として、ＨＤＤ１５６に記憶する。つまり、特徴ベクトル生成部１７２は、多次元収集データテーブル１１７を構成する所定の収集情報（例えば、ブーム角度α、外気温度Ｔｏ）についてはそのまま特徴量としてＨＤＤ１５６に記憶し、多次元収集データテーブル１１７を構成する複数の所定の収集情報（例えば、ボトム圧力Ｐｂ、ロッド圧力Ｐｒ）については別の情報（物理量）に変換し、変換した値を特徴量としてＨＤＤ１５６に記憶することにより、特徴量データテーブル１７６を作成する。

なお、各特徴量の大きさに偏りがあると、後述する分類処理（ステップＳ１２５）を適切に行えなくなる場合がある。偏りがあるとは、例えば、特徴量Ａが０～１の範囲で変化するものであるのに対し、特徴量Ｂが０～１００の範囲で変化するものである場合のことをいう。このような偏りがあると、特徴量Ａに比べて特徴量Ｂの重みが大きくなる。その結果、後述する分類処理（ステップＳ１２５）において、特徴量Ｂの影響が大きくなり、特徴量Ａの影響が小さくなってしまう。このため、特徴ベクトル生成部１７２は、各特徴量の重みを均一にするためのスケール変換処理を行うことが好ましい。スケール変換処理は、例えば、多次元収集データテーブル１１７を構成する収集情報の最小値と最大値で正規化する処理である。なお、後述する分類処理（ステップＳ１２５）の精度の向上のために、適宜、重みの調整を行ってもよい。

特徴ベクトル生成部１７２は、特徴量データテーブル１７６の作成処理（ステップＳ１１５）が完了すると、ステップＳ１２０へ進む。ステップＳ１２０において、特徴ベクトル生成部１７２は、ステップＳ１１５において生成された特徴量データテーブル（図５参照）から特徴ベクトルＶの切り出し処理を行う。特徴ベクトルＶとは、図５の破線ｔ２ａで示すように、特徴量データテーブル１７６を構成する所定時刻における多次元特徴量（Ｆｂ，ｆ，α，Ｔｏ）を切り出したものである。特徴ベクトル生成部１７２は、多次元特徴量を時刻ごとに輪切りにするようにして、特徴ベクトルＶ（Ｆｂ，ｆ，α，Ｔｏ）を切り出す。特徴ベクトルＶ（Ｆｂ，ｆ，α，Ｔｏ）は、要素数（図５に示す例では４つ）を次元数とする特徴量空間の位置座標を示している。以下、この位置座標を「特徴量位置」とも記す。

このように、特徴ベクトル生成部１７２は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算する（ステップＳ１１５，Ｓ１２０）。特徴ベクトル生成部１７２による特徴ベクトルＶの切り出し処理（ステップＳ１２０）が完了すると、ステップＳ１２５へ進む。

ステップＳ１２５において、分類部１７３は、時分割で演算された複数の特徴ベクトルＶを複数のクラスタに分類する分類処理を実行する。特徴ベクトルＶの分類処理は、特徴量位置が接近している集団を一つの集まり（クラスタ）として分類する処理である。特徴量位置が接近しているということは、特徴ベクトルＶの各要素（特徴量）が類似した値であり、油圧ショベル１０１Ａが同じような状態になっていることを意味している。分類の方法には、種々の方法が存在するが、本実施形態では、クラスタリング手法の一つであるｋ平均法(ｋ－ｍｅａｎｓ法)を用いる。ｋ平均法(ｋ－ｍｅａｎｓ法)は、多次元データを教示なしで分類する方法であり、それぞれの入力データを多次元空間における点とみなし、その各点のユークリッド距離を基準としてデータのクラスタ（塊）を見つける方法である。

分類部１７３は、ステップＳ１２０において切り出された各時刻の特徴ベクトルＶに対してｋ－ｍｅａｎｓ法によるクラスタリング処理を行う。分類部１７３は、まず、全ての特徴量位置に対してランダムに予め定められたｋ個のクラスタに割り当て、各クラスタに割り当てられた特徴量位置についての重心座標値を演算する。

分類部１７３は、次に、演算された重心座標値と全ての特徴量位置との距離を演算し、各特徴量位置を最も距離が近い重心座標値と同じクラスタに割り当てる。分類部１７３は、各クラスタに割り当てられた特徴量位置についての重心座標値を演算する。分類部１７３は、重心座標値が変化しなくなるまで、クラスタの割り当てと重心座標値の演算を繰り返す。分類部１７３は、重心座標値が変化しなくなると分類が完了したと判定し、クラスタリング処理を終了して、ステップＳ１３０へ進む。

ステップＳ１３０において、識別ＩＤ付与部１７４は、各クラスタの重心座標値を識別するための識別ＩＤ（ｉ＝１，２，３，…，ｋ）を生成し、各クラスタの重心座標値に付与する。識別ＩＤ付与部１７４は、重心座標値と、その重心座標値を識別するための識別ＩＤとを対応付けてＨＤＤ１５６に記憶することにより、分類モデル１７５を作成する。

図６は、分類モデル作成部１７０により作成された分類モデル１７５の一例について示す図である。分類モデル１７５は、識別ＩＤと、識別ＩＤに対応付けて記憶される重心座標値（すなわち、各特徴量の代表値）とで構成される。なお、重心座標値は、代表特徴ベクトルＶｉ（ｉ＝１，２，３，…，ｋ）で表される。例えば、識別ＩＤ「１」の重心座標値は、代表特徴ベクトルＶ１（３．０，２０．２，４５，２０．５）で表される。識別ＩＤ付与処理（ステップＳ１３０）が完了すると、図４のフローチャートに示す処理を終了する。

図２、図６～図１１を参照して、管理サーバ１５０によるＩＤパターンモデル１８４の作成処理について詳しく説明する。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、油圧ショベル１０１Ａの所定の動作に対応して時系列で変化する識別ＩＤのパターンを所定の動作の識別情報と対応付けて記憶することにより、ＩＤパターンモデル１８４を作成するＩＤパターンモデル作成処理を実行可能である。

図２に示すように、データ取得部１７１は、油圧ショベル１０１Ａから多次元収集データテーブル１１７を取得し、学習用の多次元収集データテーブル１１７ｂとしてＨＤＤ１５６に記憶する。また、データ取得部１７１は、油圧ショベル１０１Ａから動作データテーブル１１８を取得し、ＨＤＤ１１６に記憶する。特徴ベクトル生成部１７２は、学習用の多次元収集データテーブル１１７ｂに基づいて、特徴量データテーブル１７６（図５参照）を作成する。識別ＩＤ列生成部１８１は、特徴量データテーブル１７６及び分類モデル１７５に基づいて、時系列に識別ＩＤが並ぶ識別ＩＤ列のデータテーブルである識別ＩＤテーブル１８５（図８参照）を作成する。ＩＤパターン抽出部１８２は、動作データテーブル１１８に基づいて、識別ＩＤテーブル１８５から所定の動作の区間（動作開始時刻及び動作終了時刻）内の識別ＩＤ列を識別ＩＤパターンとして抽出し、動作を識別するための識別情報としての動作名を付与する。ＩＤパターン抽出部１８２は、抽出した識別ＩＤパターンと動作名とを対応づけて記憶することにより、ＩＤパターンモデル１８４を作成する。つまり、特徴ベクトル生成部１７２、識別ＩＤ列生成部１８１及びＩＤパターン抽出部１８２は、多次元収集データテーブル１１７ｂ、分類モデル１７５及び動作データテーブル１１８に基づいて、ＩＤパターンモデル１８４を作成するＩＤパターンモデル作成部１８０として機能する。

図７は、管理サーバ１５０により実行されるＩＤパターンモデル作成処理について示すフローチャートである。図７に示すフローチャートは、例えば、管理装置１０５の入力装置１６１を用いて、ＩＤパターンモデル１８４の作成指示が管理サーバ１５０に入力されることにより開始される。

図７のステップＳ１１０～Ｓ１２０の処理は、図４のステップＳ１１０～Ｓ１２０の処理と同様の処理であるので、説明を省略する。なお、ステップＳ１１０において、学習用の多次元収集データテーブル１１７ｂとして取得する多次元収集データテーブル１１７は、図２のステップＳ１１０で取得する学習用の多次元収集データテーブル１１７ａとして取得する多次元収集データテーブル１１７と同じデータとしてもよいが、異なるデータとしてもよい。例えば、分類モデル１７５の作成には、試験場で油圧ショベル１０１Ａに試験用の動作を行わせることにより収集した多次元収集データテーブル１１７を用い、ＩＤパターンモデル１８４の作成には、作業現場で実際に作業を行う油圧ショベル１０１Ａの動作により収集した多次元収集データテーブル１１７を用いるようにしてもよい。図７に示すように、特徴ベクトルＶの切り出し処理（ステップＳ１２０）が完了するとステップＳ２４０へ進む。

ステップＳ２４０において、識別ＩＤ列生成部１８１は、分類モデル１７５（図６参照）を参照し、ステップＳ１２０で切り出された特徴ベクトルＶに最も類似する代表特徴ベクトルＶｉ（ｉ＝１～ｋ）を抽出し、抽出した代表特徴ベクトルＶｉの識別ＩＤを特徴ベクトルＶの時刻と対応付けて記憶する。具体的には、識別ＩＤ列生成部１８１は、ステップＳ１２０で切り出された所定時刻ｔｉにおける特徴ベクトルＶで表される特徴量位置（図５参照）と、分類モデル１７５の代表特徴ベクトルＶｉで表される全ての重心座標値（図６参照）との特徴量空間における距離を演算し、最も距離が近い重心座標値の識別ＩＤと、上記所定時刻ｔｉとを対応付けて記憶する。ステップＳ２４０において、識別ＩＤ列生成部１８１は、特徴量データテーブル１７６（図５参照）の全ての時刻に対して、識別ＩＤを設定することにより、時系列に並ぶ識別ＩＤ列で構成される識別ＩＤテーブル１８５（図８参照）を作成し、ステップＳ２４５へ進む。このように、識別ＩＤ列生成部１８１は、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与することにより、識別ＩＤテーブル１８５を作成する。

図８は識別ＩＤテーブル１８５の一例について示す図である。図８に示すように、識別ＩＤテーブル１８５は、時刻と識別ＩＤとが対応付けられたデータテーブルである。図示しないが、識別ＩＤテーブル１８５は、ＨＤＤ１５６に記憶される。

図７に示すように、識別ＩＤテーブル１８５の作成処理（ステップＳ２４０）が完了するとステップＳ２４５へ進む。ステップＳ２４５において、データ取得部１７１は、油圧ショベル１０１Ａから通信回線１０９を介して動作データテーブル１１８（図９参照）を取得し、ＨＤＤ１５６に記憶して、ステップＳ２５０へ進む。

図９は、動作データテーブル１１８の一例について示す図である。図９に示すように、動作データテーブル１１８は、動作名と、その動作の開始時刻及び終了時刻と、が対応付けられたデータテーブルである。

動作データテーブル１１８は、油圧ショベル１０１Ａの車体コントローラ１１０によって、多次元収集データテーブル１１７（１１７ｂ）とともに作成される。油圧ショベル１０１Ａのオペレータは、入力装置１２０に対して所定の操作（動作名入力操作）を行うことにより、「動作名（例えば、動作Ａ）」を車体コントローラ１１０に入力する。次に、油圧ショベル１０１Ａのオペレータは、その「動作名（例えば、動作Ａ）」に対応する動作を開始する際、入力装置１２０に対して所定の操作（開始時刻入力操作）を行う。これにより、車体コントローラ１１０は、そのときの時刻を「開始時刻」として、「動作名（例えば、動作Ａ）」と対応付けてＨＤＤ１１６に記憶する。油圧ショベル１０１Ａのオペレータは、「動作名（例えば、動作Ａ）」に対応する動作を終了する際、入力装置１２０に対して所定の操作（終了時刻入力操作）を行う。これにより、車体コントローラ１１０は、そのときの時刻を「終了時刻」として、「動作名（例えば、動作Ａ）」と対応付けてＨＤＤ１１６に記憶する。

動作名入力操作とは、例えば、タッチパネル（入力装置１２０）に表示される複数の動作名の中から一の動作名を選択する操作、あるいは、キーボード（入力装置１２０）を操作して、文字列を入力する操作である。開始時刻入力操作及び終了時刻入力操作は、例えば、タッチパネル（入力装置１２０）に対するタッチ操作、あるいは、スイッチ（入力装置１２０）の押し込み操作である。このように、油圧ショベル１０１Ａのオペレータによって所定の操作が行われることにより、車体コントローラ１１０は、「動作名」、「開始時刻」及び「終了時刻」を対応付けて記憶することにより、動作データテーブル１１８を作成する。

なお、動作データテーブル１１８は、多次元収集データテーブル１１７の作成とともに作成せずに、多次元収集データテーブル１１７の作成が完了した後、多次元収集データテーブル１１７を観察しながら作成してもよい。動作名は、油圧ショベル１０１Ａの一連の状態変化について付与される自然言語的名称である。例えば、土砂を掘削し、その土砂をダンプトラックに積み込むまでの動作に対応する動作名として「掘削積込動作」が入力される。また、「掘削積込動作」を「掘削動作」と「積込動作」に分離して、それぞれの動作に対応する動作名としてもよい。

図７に示すように、動作データテーブル取得処理（ステップＳ２４５）が完了すると、ステップＳ２５０へ進む。ステップＳ２５０において、ＩＤパターン抽出部１８２は、動作データテーブル（図９参照）を参照し、時系列に並ぶ全ての識別ＩＤによって構成される識別ＩＤ列（図８参照）から所定の動作を行っている区間内の複数の識別ＩＤからなる識別ＩＤ列を識別ＩＤパターンとして抽出するＩＤパターン抽出処理を行う。

図１０は、ＩＤパターン抽出処理について説明する図である。図１０に示すように、ＩＤパターン抽出処理（図７のステップＳ２５０）において、ＩＤパターン抽出部１８２は、動作データテーブル１１８（図９参照）を参照し、識別ＩＤテーブル１８５の中から「動作名」ごとに「開始時刻」から「終了時刻」までの複数の識別ＩＤを時系列で抽出する。なお、ＩＤパターン抽出部１８２は、複数の同じ識別ＩＤが連続して抽出された場合、一の識別ＩＤのみを残す。これは、後述するＤＰマッチング手法において、重複する識別ＩＤが無視されるためである。

例えば、ＩＤパターン抽出部１８２は、動作データテーブル１１８を参照し、動作Ａの動作区間（開始時刻１２：２５：３３から終了時刻１２：２５：３９）に含まれる複数の識別ＩＤを時系列で抽出する。なお、連続する複数の同じ識別ＩＤについては、一の識別ＩＤのみを抽出する。このため、ＩＤパターン抽出部１８２は、動作Ａの動作区間内の識別ＩＤパターンとして、「２０３」，「７０」，「２０３」を抽出する。ＩＤパターン抽出部１８２は、時系列で抽出した識別ＩＤパターンを動作名である「動作Ａ」と対応付けて記憶する。

ＩＤパターン抽出部１８２は、動作データテーブル１１８に記憶されている全ての「動作名（動作Ａ、動作Ｂ、動作Ｃ、・・・）」に対して、識別ＩＤパターンを対応付けてＨＤＤ１５６に記憶することにより、ＩＤパターンモデル１８４を作成する。ＩＤパターン抽出処理（ステップＳ２５０）が完了すると、図７のフローチャートに示す処理を終了する。このように、ＩＤパターン抽出部１８２は、油圧ショベル１０１Ａの所定の動作に対応して時系列で変化する識別ＩＤのパターンを所定の動作の動作名（識別情報）と対応付けて記憶することにより、ＩＤパターンモデル１８４を作成する。以下の説明では、動作名に対応付けて記憶（登録）される識別ＩＤパターンを登録ＩＤパターンとも記す。なお、図１０では、各動作の登録ＩＤパターンが３つの要素で構成される（例えば、動作Ａの登録ＩＤパターンは「２０３」，「７０」，「２０３」の３つの要素で構成される）例について示しているが、登録ＩＤパターンは動作に応じて、２つの要素、あるいは４つ以上の要素で構成してもよい。

図１１は、特徴量及び識別ＩＤの時間変化を示すグラフである。図１１に示すように、時間の経過により各特徴量Ａ～Ｆの値が変化することに伴い、識別ＩＤが変化する。識別ＩＤが変化するということは油圧ショベル１０１Ａの状態が変化しているということを表している。動作Ａを行っている区間では、識別ＩＤが「２０３」→「７０」→「２０３」と変化している。

図２、図１２～図１５を参照して、管理サーバ１５０による情報出力処理について詳しく説明する。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作を把握するための出力情報を生成し、生成した出力情報を出力装置としての表示装置１６５によって出力させる情報出力処理を実行可能である。

図２に示すように、データ取得部１７１は、油圧ショベル１０１Ａから多次元収集データテーブル１１７を取得し、油圧ショベル１０１Ａの動作把握用の多次元収集データテーブル１１７ｃとしてＨＤＤ１５６に記憶する。特徴ベクトル生成部１７２は、動作把握用の多次元収集データテーブル１１７ｃに基づいて、特徴量データテーブル１７６を生成する（図５参照）。識別ＩＤ列生成部１８１は、特徴量データテーブル１７６及び分類モデル１７５に基づいて、時系列に識別ＩＤが並ぶ識別ＩＤ列のデータテーブルである識別ＩＤテーブル１８５（図１４参照）を生成する。類似度演算部１９１は、識別ＩＤテーブル１８５の識別ＩＤ列とＩＤパターンモデル１８４の登録ＩＤパターンとの類似度を演算する。表示制御部１９２は、類似度演算部１９１で演算された類似度を表す表示画像の情報（データ）を生成し、表示装置１６５に出力する。表示装置１６５は、入力された表示画像の情報（データ）に基づいて、表示装置１６５の表示画面１６５ａに類似度を表す表示画像を表示させる。つまり、表示制御部１９２は、表示装置（出力装置）１６５を制御して、油圧ショベル１０１Ａの所定の動作を把握するための出力情報（本実施形態では、動作の類似度を表す表示画像の情報）を表示装置（出力装置）１６５によって出力させる。このように、特徴ベクトル生成部１７２、識別ＩＤ列生成部１８１、類似度演算部１９１及び表示制御部１９２は、多次元収集データテーブル１１７ｃ、分類モデル１７５及びＩＤパターンモデル１８４に基づいて、油圧ショベル１０１Ａの動作を把握するための出力情報を生成し、出力装置によって出力させる出力制御部１９０として機能する。

図１２は、管理サーバ１５０により実行される情報出力処理について示すフローチャートである。図１２に示すフローチャートは、例えば、管理装置１０５の入力装置１６１を用いて、情報出力処理の実行指示が管理サーバ１５０に入力されることにより開始される。

図１２に示すように、ステップＳ１１０において、データ取得部１７１は、油圧ショベル１０１Ａから通信回線１０９を介して多次元収集データテーブル１１７を取得し、動作把握用の多次元収集データテーブル１１７ｃとしてＨＤＤ１５６に記憶して、ステップＳ１１５へ進む。

ステップＳ１１０において、動作把握用の多次元収集データテーブル１１７ｃとして取得する多次元収集データテーブル１１７は、図２のステップＳ１１０、図７のステップＳ１１０で取得する学習用の多次元収集データテーブル１１７ａ，１１７ｂとして取得する多次元収集データテーブル１１７と異なるデータである。動作把握用の多次元収集データテーブル１１７ｃとして取得する多次元収集データテーブル１１７は、作業現場で実際に種々の作業を行った油圧ショベル１０１Ａの動作を把握するために作成される。つまり、動作把握用の多次元収集データテーブル１１７ｃは、作業現場で作業を行っている間に収集された情報によって作成されたデータテーブルである。

図１２のステップＳ１１５，Ｓ１２０の処理は、図４のステップＳ１１５～Ｓ１２０の処理と同様の処理であり、図１２のステップＳ２４０の処理は、図７のステップＳ２４０の処理と同様の処理であるので、説明を省略する。図１２に示すように、識別ＩＤテーブル１８５の作成処理（ステップＳ２４０）が完了するとステップＳ３６０へ進む。

ステップＳ３６０において、類似度演算部１９１は、ＩＤパターンモデル１８４に登録されている「動作名」ごとに、識別ＩＤテーブル１８５の識別ＩＤ列とＩＤパターンモデル１８４の登録ＩＤパターンとの類似度を表すコストを演算する。

本実施形態では、ＩＤパターンモデル１８４の登録ＩＤパターンと、識別ＩＤテーブル１８５の識別ＩＤ列とのＤＰマッチングを行って、コストを演算する。ＤＰマッチングとはパターンの時間軸上での伸縮を考慮するために、パターンを非線形伸縮させてマッチングさせる弾性マッチング手法の一種である。なお、ＤＰマッチングは、一般的な手法であるため、詳細なアルゴリズムはここでは述べない。油圧ショベル１０１Ａのように人が操作する機械では、パターンの一部が時間軸上で伸縮する場合がある。ＤＰマッチングは、弾性マッチング手法の一種であるので、パターンの一部が時間軸上で伸縮する場合でも類似性を評価することができるので好適である。

図１３は、ＤＰマッチングの特徴を説明する図である。図１３（ａ）に示すように、識別ＩＤが「５」→「７」→「１０」の順で変化する識別ＩＤパターンがＩＤパターンモデル１８４に登録されている場合について説明する。図１３（ｂ）に示すように、ＤＰマッチングでは、連続して重複する識別ＩＤが存在する識別ＩＤ列（例えば識別ＩＤ「５」及び「７」が連続して重複している識別ＩＤ列）と、重複が無い識別ＩＤ列とは、同じように取り扱われる。

類似度は、パターンの始点から終点までの移動コスト（コスト）で表される。図１３（ｃ）～図１３（ｅ）は、コスト演算の例について示す。図１３（ｃ）に示す例では、識別ＩＤ列が、「５」→「７」→「１０」であり、図１３（ａ）に示す登録ＩＤパターンと完全に一致するため、コストは最小値Ｃ０（＝０．０）となる。図１３（ｄ）に示す例では、識別ＩＤ列の中に、図１３（ａ）に示す登録ＩＤパターンに含まれていない識別ＩＤ「８」が含まれている。このため、演算されるコストは最小値Ｃ０よりも大きいＣ１となる（Ｃ１＞Ｃ０）。図１３（ｅ）に示す例では、識別ＩＤ列が図１３（ａ）に示す登録ＩＤパターン「５」→「７」→「１０」の識別ＩＤ「７」に代えて識別ＩＤ「９」が設定されている。このため、演算されるコストは最小値Ｃ０及びＣ１よりも大きいＣ２となる（Ｃ２＞Ｃ１＞Ｃ０）。

このように、コストは、その値が低ければ類似度が高いことを表し、その値が高ければ類似度が低いことを表している。また、コストの最小値は０（ゼロ）であり、コストが０（ゼロ）の場合には識別ＩＤ列と、ＩＤパターンモデル１８４に登録されている識別ＩＤパターン（登録ＩＤパターン）とが一致していることを意味する。

コストの計算方法としては、例えば、識別ＩＤ列と登録ＩＤパターンとの比較によるコスト計算方法（以下、計算方法Ａと記す）及び識別ＩＤの特徴量位置間の距離によるコスト計算方法（以下、計算方法Ｂと記す）を採用することができる。

計算方法Ａでは、識別ＩＤ列と登録ＩＤパターンとを比較し、一致する場合には、コストを０（ゼロ）とし、一致しない場合には、予め定められた条件式に基づいて、コストを０（ゼロ）よりも大きい値に設定する。なお、登録ＩＤパターンの要素数により始点と終点の累積コストが異なるので要素数で正規化してもよい。

計算方法Ａでは、特徴量空間における識別ＩＤ間の距離が考慮されていない。このため、例えば、図１３（ｅ）に示す例において、識別ＩＤ列の識別ＩＤ「９」と登録ＩＤパターンの識別ＩＤ「７」とが、特徴量空間におけるユークリッド距離が近い場合と遠い場合とで同じコストとなる。

これに対して、計算方法Ｂでは、識別ＩＤテーブル１８５の識別ＩＤに対応する特徴量位置と、登録ＩＤパターンの識別ＩＤに対応する特徴量位置との距離に基づいてコストを演算する。図２の破線の矢印で示すように、計算方法Ｂによって類似度を演算する場合、類似度演算部１９１は、登録ＩＤパターンの識別ＩＤに対応する特徴量位置を分類モデル１７５から取得する。特徴量空間において距離が近い場合には低コストとなり、距離が遠い場合には高コストとなる。なお、近接する特徴量を分離するために、ユークリッド距離の対数値など、近接する距離を強調するような関数を用いたコスト表現を行っても構わない。

図１４は、動作Ａに対応する登録ＩＤパターン（「２０３」→「７０」→「２０３」）と、識別ＩＤテーブル１８５の識別ＩＤ列との類似度（コスト）について示す図である。図１４に示すように、コストは、時系列で演算されるため、識別ＩＤ列に登録ＩＤパターンの識別ＩＤ「２０３」が現れるまでは大きなコストとなっている。識別ＩＤ列において、時刻「１３：００：０２」で登録ＩＤパターンの最初の識別ＩＤ「２０３」が出現するとコストが小さくなり、時刻「１３：００：０４」で登録ＩＤパターンの識別ＩＤ「７０」が出現するとさらにコストが小さくなり、時刻「１３：００：０７」で登録ＩＤパターンの最後の識別ＩＤ「２０３」が出現するとコストは最小値となる。その後、時刻「１３：００：０９」で登録ＩＤパターンに含まれない識別ＩＤ「１６」が出現すると、コストは大きくなる。したがって、コストが小さくなる区間（時刻）を検出することにより、登録ＩＤパターンが識別ＩＤ列に含まれているか否かの判定を行うことができる。

このように、類似度演算部１９１は、識別ＩＤの時系列の変化と、ＩＤパターンモデル１８４の識別ＩＤのパターン（登録ＩＤパターン）との類似度を演算する。図１２に示すように、ステップＳ３６０において、類似度演算部１９１が時系列で類似度（コスト）を演算する処理を、動作ごと（動作Ａ、動作Ｂ、動作Ｃ、…）に行い、全ての動作に関して類似度（コスト）の演算が完了すると、ステップＳ３７０へ進む。

ステップＳ３７０において、表示制御部１９２は、ステップＳ３６０で演算された時系列の類似度（コスト）を表す表示画像の情報（データ）を出力情報として生成し、出力情報を表示装置１６５によって出力させ（すなわち、類似度を表す表示画像を表示装置１６５によって表示させ）、図１２のフローチャートに示す処理を終了する。

図１５は、表示装置１６５の表示画面１６５ａに表示される類似度画像１６６の一例について示す図である。類似度画像１６６は、縦軸がコストを表し、横軸が時間を表すグラフの画像であり、複数の動作に対して、コストの時間変化が表されている。点線は動作名「動作Ａ」の時系列類似度１６６ａを表し、破線は動作名「動作Ｂ」の時系列類似度１６６ｂを示し、太い実線は動作名「動作Ｃ」の時系列類似度１６６ｃを表している。また、線種ごとに、動作名を表すグラフ凡例画像１６６ｆが表示画面１６５ａに表示されている。さらに、所定の動作が行われたか否かの目安として、コストの基準線（閾値Ｃｔ）を示す画像１６６ｈが表示画面１６５ａに表示されている。

このように、本実施形態によれば、時間の経過に応じて変化する動作ごとの類似度が表示装置１６５の表示画面に表示されるため、油圧ショベル１０１Ａがどのタイミング（時刻）でどのような動作を行ったのかを容易に把握することができ、油圧ショベル１０１Ａの作業効率の向上を図ることができる。

なお、図１２のステップＳ１１０において、油圧ショベル１０１Ａから多次元収集データテーブル１１７を取得する例について説明したが、時々刻々と収集されるデータを逐次取得し、類似度を演算して出力するようにしてもよい。

上述した実施形態によれば、次の作用効果を奏する。

（１）動作把握システム（管理装置１０５）１０は、情報を出力する表示装置（出力装置）１６５と、時系列で変化する稼働に伴う油圧ショベル（機械）１０１Ａの情報を取得し、油圧ショベル１０１Ａの情報に基づいて、油圧ショベル１０１Ａの動作を把握するための出力情報を生成し、表示装置１６５によって出力情報を出力させる管理サーバ（制御装置）１５０と、を備える。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、時分割で演算された複数の特徴ベクトルＶを複数のクラスタに分類し、複数のクラスタに識別ＩＤを付与することにより、分類モデル１７５を作成する分類モデル作成処理（図４参照）を実行可能である。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、油圧ショベル１０１Ａの所定の動作（掘削動作、積込動作等）に対応して時系列で変化する識別ＩＤのパターンを所定の動作の識別情報（動作名）と対応付けて記憶することにより、ＩＤパターンモデル１８４を作成するＩＤパターンモデル作成処理（図７参照）を実行可能である。管理サーバ１５０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作を把握するための出力情報を生成し、出力情報を表示装置１６５によって出力させる情報出力処理（図１２参照）を実行可能である。

この構成によれば、予め分類モデル１７５及びＩＤパターンモデル１８４を作成しておくことにより、作業現場において油圧ショベル１０１Ａによる作業を行った場合に、所定の動作を把握するための出力情報（類似度を表す情報）が表示装置１６５に表示される。したがって、油圧ショベル１０１Ａのオペレータ、及び作業現場の監督者等、表示装置１６５の閲覧者は、表示装置１６５の表示画面１６５ａに表示される出力情報（類似度を表す情報）から、油圧ショベル１０１Ａの動作を容易に把握することができ、油圧ショベル１０１Ａの作業効率の向上を図ることができる。

また、この構成によれば、所定の動作（掘削動作、積込動作等）を構成する複数の微小な動き（部分動作）に対して識別ＩＤが自動的に付与される。このため、部分動作ごとに識別情報（動作名）を設定する必要がない。部分動作ごとに自然言語で部分動作名を設定する場合、部分動作の数が多くなると、部分動作の識別情報（部分動作名）と、油圧ショベル１０１Ａの情報とを対応付けたテーブルの作成に手間がかかり、動作把握システムの製造コストの増加をまねくおそれがある。本実施形態では、上述のとおり、部分動作に対して識別ＩＤが自動的に付与されるので、動作把握システム１０の製造コストの低減を図ることができる。

（２）本実施形態では、特徴量のサンプリング周期ごとに識別ＩＤが付与される。このため、識別ＩＤ列の時間分解能は特徴量のサンプリング周期と同一となる。したがって、サンプリング周期よりも長い所定の時間幅で収集情報を切り出し、部分動作を抽出する場合に比べて、高い時間分解能を得ることができる。

（３）管理サーバ１５０は、油圧ショベル１０１Ａのセンサで検出された複数の異なる種類の物理量（例えば、ブームシリンダ１１ａのボトム圧力Ｐｂ及びロッド圧力Ｐｒ）から算出される物理量（例えば、シリンダ出力Ｆｂ）を特徴量とする。複数の情報（物理量）から別の一つの情報（物理量）への変換を行う場合、特徴量の数の低減を図ることができる。

＜第２実施形態＞
図１６及び図１７を参照して、第２実施形態に係る動作把握システムについて説明する。なお、図中、第１実施形態と同一もしくは相当部分には同一の参照番号を付し、相違点を主に説明する。第２実施形態に係る動作把握システムは、類似度（コスト）に基づいて、所定の動作の回数を計測し、累積回数を表示装置１６５の表示画面１６５ａに表示させる。以下、詳しく説明する。

図１６は、本発明の第２実施形態に係る動作把握システムの出力制御部２９０及び出力制御部２９０が用いるデータについて示す図である。図１６に示すように、出力制御部２９０は、動作認識部２９３を有している。動作認識部２９３は、類似度演算部１９１で演算されたコストに基づいて、ＩＤパターンモデル１８４に登録されている動作名の動作が行われたか否かを判定する。動作認識部２９３は、時間の経過により、コストＣが予め定められた閾値Ｃｔよりも大きい状態から閾値Ｃｔ以下の状態に変化した場合に動作が行われたと判定する。なお、閾値Ｃｔは、ＲＯＭ１５２に予め記憶されている。

動作認識部２９３は、例えば、動作ＡのコストＣが閾値Ｃｔよりも大きい状態から閾値Ｃｔ以下の状態に変化した場合、動作認識部２９３は、動作Ａが行われたと判定し、動作Ａの回数を計測する。動作認識部２９３は、所定の動作が行われたと判定された回数を動作の発生回数として計測し、その累積値（累積発生回数）をＨＤＤ１５６に記憶させる。動作認識部２９３は、動作の発生時刻と、動作の累積発生回数とを対応付けてＨＤＤ１５６に記憶することにより、累積発生回数テーブルを作成する。累積発生回数テーブルは、動作の累積発生回数と、油圧ショベル１０１Ａの稼働時間との関係を表すデータテーブルである。

表示制御部１９２は、累積発生回数テーブルに基づいて、動作の累積発生回数を表す表示画像を出力情報として生成し、生成した出力情報を表示装置１６５によって出力させる。

図１７は、表示装置１６５の表示画面１６５ａに表示される動作の累積発生回数を表す画像の一例について示す図である。横軸は、油圧ショベル１０１Ａの稼働時間を示し、縦軸は、動作の累積発生回数を示している。図中、実線は、「動作Ａ」の累積発生回数の時間変化を示し、破線は「動作Ｂ」の累積発生回数の時間変化を示し、一点鎖線は「動作Ｃ」の累積発生回数の時間変化を示している。このように、本実施形態によれば、表示装置１６５によって、油圧ショベル１０１Ａの動作の累積発生回数の表示が可能になる。したがって、サービス員は、累積発生回数の多い動作に関わる部品の劣化を容易に推測することができるので、部品の交換のタイミング、部品の調整のタイミング等を適切に設定することができる。また、オペレータは、累積発生回数の情報から無駄な動作の有無、あるいは所定の動作の不足等を確認することができ、それ以降の作業での動作の回数を調整することにより、作業効率の向上を図ることができる。

このように、第２実施形態では、管理サーバ１５０が、情報出力処理において、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作が行われた回数を演算し、その演算結果に基づいて出力情報（動作の累積発生回数の時間変化を表す表示画像の情報）として生成し、出力情報を出力装置（表示装置１６５）によって出力させる。したがって、第２実施形態によれば、上記第１実施形態と同様の作用効果に加え、表示装置１６５に表示される動作の累積発生回数の情報を分析することにより、メンテナンス作業の効率及び油圧ショベル１０１Ａによる作業の効率の向上を図ることができる。

なお、管理サーバ１５０は、累積発生回数の表示画像に代えて、累積疲労損傷度、または寿命消費量に関する表示画像を表示装置１６５の表示画面１６５ａに表示させるようにしてもよい。

＜第２実施形態の変形例１＞
上記第２実施形態では、動作認識部２９３が動作の累積発生回数を演算し、表示制御部１９２がその演算結果を表す表示画像を生成する例について説明したが、本発明はこれに限定されない。動作認識部２９３が、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作の時間軸上での発生頻度を演算し、表示制御部１９２が、その演算結果に基づいて出力情報を生成し、生成した出力情報を表示装置１６５によって出力させるようにしてもよい。

動作認識部２９３は、所定の動作が行われたと判定された回数を動作の発生回数として計測し、所定の時間幅当たりの発生回数を発生頻度として演算する。動作認識部２９３は、時間軸を所定の時間幅で分割し、所定の時間幅内での動作の発生回数を発生頻度としてＨＤＤ１５６に記憶することにより、発生頻度テーブルを作成する。発生頻度テーブルは、動作の発生頻度と、油圧ショベル１０１Ａの稼働時間との関係を表すデータテーブルである。

表示制御部１９２は、発生頻度テーブルに基づいて、動作の発生頻度を表す表示画像を出力情報として生成し、生成した出力情報を表示装置１６５によって出力させる。

図１８は、表示装置１６５の表示画面１６５ａに表示される動作の発生頻度を表す画像の一例について示す図である。横軸は、油圧ショベル１０１Ａの稼働時間を示し、縦軸は、動作の発生頻度を示している。図中、実線は、「動作Ａ」の発生頻度の時間変化を示し、破線は「動作Ｂ」の発生頻度の時間変化を示し、一点鎖線は「動作Ｃ」の発生頻度の時間変化を示している。このように、本変形例によれば、表示装置１６５によって、油圧ショベル１０１Ａの所定の動作の時間軸上での発生頻度の表示が可能になる。したがって、油圧ショベル１０１Ａによる作業の監督者は、どの時刻にどのような動作を油圧ショベル１０１Ａが行っているかを確認することができ、それ以降の作業計画を調整することにより、作業効率の向上を図ることができる。また、オペレータは、発生頻度の情報から無駄な動作の有無、あるいは所定の動作の不足等を確認することができ、それ以降の作業での動作の回数を調整することにより、作業効率の向上を図ることができる。

＜第２実施形態の変形例２＞
動作認識部２９３が、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作の所定領域内での発生頻度を演算し、表示制御部１９２が、その演算結果に基づいて出力情報を生成し、生成した出力情報を表示装置１６５によって出力させるようにしてもよい。

油圧ショベル１０１Ａは、複数のＧＮＳＳ（Global Navigation Satellite System：全地球衛星測位システム）用のアンテナ（以下、ＧＮＳＳアンテナと記す）と、ＧＮＳＳアンテナで受信された複数の測位衛星からの衛星信号（ＧＮＳＳ電波）に基づいて、地理座標系（グローバル座標系）における油圧ショベル１０１Ａの位置を演算する測位演算装置を有する。

動作認識部２９３は、所定の動作が行われたと判定されると、測位演算装置で演算された油圧ショベル１０１Ａの位置を動作の発生場所としてＨＤＤ１５６に記憶する。動作認識部２９３は、地理座標系における作業現場の地図をメッシュ状に分割し、複数の分割領域を生成する。動作認識部２９３は、分割領域と、その分割領域内での動作の発生頻度とを対応付けてＨＤＤ１５６に記憶することにより、発生頻度マップを作成する。発生頻度マップは、動作の発生場所（分割領域）と動作の発生頻度との関係を表すマップである。

このように、本変形例によれば、表示装置１６５によって、油圧ショベル１０１Ａの所定の動作の所定領域内（作業現場内）での発生頻度（発生分布）の表示が可能になる。したがって、油圧ショベル１０１Ａによる作業の監督者は、油圧ショベル１０１Ａがどの場所でどのような動作を行っているかを確認することができ、それ以降の作業計画を調整することにより、作業効率の向上を図ることができる。

＜第２実施形態の変形例３＞
動作認識部２９３が、動作の累積発生回数に基づいて、各動作を行うために用いる部品（例えば、掘削動作を行うために用いる油圧シリンダのシール部材）の劣化度合いを演算し、表示制御部１９２が、その演算結果を表す表示画像を生成し、表示装置１６５の表示画面１６５ａに部品の劣化度合いを表す画像を表示させるようにしてもよい。なお、動作認識部２９３は、一種類の動作（例えば、動作Ａ）の累積発生回数に基づいて所定の部品の劣化度合いを演算してもよいし、複数種類の動作（例えば、動作Ａ及び動作Ｂ）のそれぞれの累積発生回数に基づいて所定の部品の劣化度合いを演算してもよい。

＜第３実施形態＞
図１９及び図２０を参照して、第３実施形態に係る動作把握システムについて説明する。なお、図中、第１及び第２実施形態と同一もしくは相当部分には同一の参照番号を付し、相違点を主に説明する。第３実施形態に係る動作把握システムは、類似度画像１６６とともに、動作名に付加される付加情報及び動作のアニメーション３６７を表示装置１６５の表示画面１６５ａに表示させる。以下、詳しく説明する。

図１９は、本発明の第３実施形態に係る動作把握システムの出力制御部３９０及び出力制御部３９０が用いるデータについて示す図である。図２０は、本発明の第３実施形態に係る動作把握システムの表示装置１６５の表示画面１６５ａに表示される画像の一例について示す図である。図１９に示すように、出力制御部３９０は、付加情報選択部３９４及び動作表示画像生成部３９５を有している。また、管理サーバ１５０のＨＤＤ１５６には、付加情報データテーブル３９６及び動作表示用データベース３９７が格納されている。

第２実施形態と同様、動作認識部２９３は、類似度（コスト）に基づいて、所定の動作が行われたか否かを判定する。所定の動作が行われたと判定されると、動作認識部２９３は、所定の動作が行われた時刻と、所定の動作とを対応付けてＨＤＤ１５６に記憶する。

また、付加情報選択部３９４は、動作認識部２９３によって所定の動作が行われたと判定されると、所定の動作に対応する付加情報を付加情報データテーブル３９６から選択する。付加情報データテーブル３９６は、「動作名」と「付加情報」とが対応付けられて記憶されているデータテーブルである。

動作表示画像生成部３９５は、３次元のアニメーション（動画）を表示装置１６５に表示させるためのモーション画像を生成する。動作表示用データベース３９７には、油圧ショベル１０１Ａの各部材（走行体２、旋回体３、ブーム１１、アーム１２及びバケット１３）を表示するための形状及び色の情報を含む部材形状データ、及び部材形状データの接続部（回動支点）等のデータが含まれる。なお、部材形状データ及び接続部のデータ等は、油圧ショベル１０１Ａの型式ごとのデータとして動作表示用データベース３９７に登録しておいてもよい。この場合、入力装置１６１を用いて、油圧ショベル１０１Ａの型式を管理サーバ１５０に入力することにより、動作表示画像生成部３９５が、入力された型式に対応する部材形状データ及び接続部のデータを選択してモーション画像を生成する。

本実施形態では、油圧ショベル１０１Ａは、ブーム角度センサ１２４、アーム角度センサ、バケット角度センサ、及び、車体前後傾斜角センサ、車体左右傾斜角センサ、旋回角センサ等の姿勢センサの信号に基づいて、ブーム角度α、アーム角度β、バケット角度γ、走行体２の基準面（例えば水平面）に対する前後方向の傾斜角θ、走行体２の基準面に対する左右方向の傾斜角φ、走行体２と旋回体３との相対角度（旋回角度）ψ等の姿勢情報を演算する姿勢演算装置を備えている。

本実施形態では、多次元収集データテーブル１１７に、姿勢演算装置で演算された姿勢情報（α，β，γ，θ，φ，ψ）が含まれている。動作表示画像生成部３９５は、多次元収集データテーブル１１７ｃに含まれる姿勢情報（α，β，γ，θ，φ，ψ）をモーションデータとして抽出し、抽出したモーションデータと、動作表示用データベース３９７の部材形状データ及び接続部のデータに基づいて、油圧ショベル１０１Ａのモーション画像を生成する。より具体的には、動作表示画像生成部３９５は、部材形状データ及び接続部のデータ、並びにサンプリング周期毎の姿勢情報に基づいて、サンプリング周期毎に油圧ショベル１０１Ａの３次元コンピュータグラフィックス（３ＤＣＧ）を用いたモーション画像を生成する。３ＤＣＧとは油圧ショベル１０１Ａの形状データをもとに、車体形状を幾何学的に表現し、それを、見る方向に応じて投影面に投影変換し２次元画像を得る手法である。したがって、様々な視点から油圧ショベル１０１Ａの様子を可視化することができる。また、姿勢情報（モーションデータ）をもとに油圧ショベル１０１Ａの各構成要素（ブームやアームなど）をその接続部を回動中心として回動させることにより、様々な姿勢の表現も可能になる。

表示制御部３９２は、動作表示画像生成部３９５で生成された複数のモーション画像を時系列で変化させることにより、図２０に示すように、油圧ショベル１０１Ａのアニメーション（動画）３６７を表示装置１６５の表示画面１６５ａに表示させる。また、表示制御部３９２は、類似度画像１６６の横軸（時間軸）に、アニメーション３６７を構成するモーション画像に対応付けられる時刻を表す時刻マーカ３６６ｄを表示装置１６５の表示画面１６５ａに表示させる。したがって、時刻マーカ３６６ｄは、アニメーション３６７を構成する画像の変化とともに、時間軸に沿って図示右側に移動する。

表示制御部３９２は、所定の動作が行われた時刻のアニメーション３６７を表示する際、所定の動作の動作名を表す画像（動作名画像）３６６ｆと、所定の動作が行われた時刻を表す画像（時刻画像）３６６ｈを表示装置１６５の表示画面１６５ａに表示させる。さらに、表示制御部３９２は、付加情報選択部３９４で選択された付加情報を表す画像（付加情報画像）３６６ｇを表示装置１６５の表示画面１６５ａに表示させる。

図２０に示す例では、時刻「１３：２４：２６」に、所定の動作としてジャッキアップ動作が行われた場合の画面について示している。ジャッキアップ動作とは、バケット１３が地面を押すように作業装置４が動作することにより、地面からの反力によって、油圧ショベル１０１Ａが持ち上げられ、走行体２の後部を支点に走行体２の前部が地面から浮き上がる姿勢となる動作のことを指す。ジャッキアップ操作では、バケットシリンダ１３ａに大きな負荷がかかる。このため、図示する例では、表示画面１６５ａに「バケットシリンダに損傷の可能性あり」といった注意事項を表すメッセージ画像が付加情報画像３６６ｇとして表示されている。また、表示画面１６５ａには、動作名画像３６６ｆとして動作名を表す「禁止されたジャッキアップ動作」が表示されている。

このように、第３実施形態では、管理サーバ１５０が、情報出力処理において、特徴ベクトルＶの演算に用いた油圧ショベル１０１Ａの情報（多次元収集データテーブル１１７ｃに含まれる姿勢情報）と油圧ショベル１０１Ａの形状データ（走行体２、旋回体３、ブーム１１、アーム１２及びバケット１３の形状データ）に基づいて、油圧ショベル１０１Ａのモーション画像を生成し、モーション画像に基づいて表示装置１６５の表示画面１６５ａに油圧ショベル１０１Ａのアニメーション３６７を表示させる。

これにより、表示装置１６５の閲覧者に対して、どのような動作がどの時刻において発生したのかを、視覚的に分かりやすく伝えることができる。特に、油圧ショベル１０１Ａのように多くの関節を持つ作業機械の動作を把握する際、類似度画像１６６のようなグラフだけを見ても、どのような動作が行われたのかを把握するのに時間を要する場合がある。本実施形態によれば、類似度画像１６６とともに、油圧ショベル１０１Ａのアニメーション３６７が表示装置１６５の表示画面１６５ａに表示される。このため、表示装置１６５の閲覧者は、短時間で油圧ショベル１０１Ａによって行われた動作を把握することができるため、作業計画の調整等の効率の向上を図ることができる。

また、管理装置１０５は、動作名（識別情報）に対応して付加情報が記憶された記憶装置（ＨＤＤ１５６）を備え、管理サーバ１５０が、情報出力処理において、動作名（識別情報）及び付加情報に基づいて出力情報（「バケットシリンダに損傷の可能性あり」といった注意を喚起させるためのメッセージに関する情報）を生成し、出力情報を表示装置１６５によって出力させる。これにより、所定の時刻に行われた動作が、所定の部品に対して損傷を与える可能性がある動作であることなど、閲覧者に対して、動作に関する付加情報を通知することができ、所定の動作の回数を低減するように注意を喚起させることができる。

＜第３実施形態の変形例１＞
第３実施形態では、出力制御部３９０が多次元収集データテーブル１１７に含まれる姿勢情報に基づいてアニメーションを生成する例について説明したが、本発明はこれに限定されない。出力制御部３９０Ｂは、識別ＩＤの時系列の変化に基づいて、アニメーションを生成してもよい。

図２１は、本発明の第３実施形態の変形例１に係る動作把握システムの出力制御部３９０Ｂ及び出力制御部３９０Ｂが用いるデータについて示す図である。動作表示画像生成部３９５Ｂは、識別ＩＤ列生成部１８１で生成された識別ＩＤテーブル１８５を構成する時系列の識別ＩＤに対応する代表特徴ベクトルＶｉを分類モデル１７５から選択する。動作表示画像生成部３９５Ｂは、選択した代表特徴ベクトルＶｉを構成する特徴量に含まれる姿勢情報（α，β，γ，θ，φ，ψ）を抽出し、抽出した特徴量（姿勢情報）と、動作表示用データベース３９７の部材形状データ及び接続部のデータに基づいて、油圧ショベル１０１Ａの画像を生成し、生成した画像を表示装置１６５に時系列で表示させる。

ただし、識別ＩＤからは１つの代表特徴ベクトルＶｉが選択されるため、多次元収集データテーブル１１７の姿勢情報に基づいてアニメーション３６７を生成する場合（第３実施形態）に比べて動きが荒くなってしまう。多次元収集データテーブル１１７を用いてアニメーション３６７を生成する場合、時間分解能が高いため、アニメーション３６７によって滑らかな動きを表現できる。一方、時系列の識別ＩＤに対応する代表特徴ベクトルＶｉを構成する姿勢情報に対応する画像を順次表示する場合、ギクシャクした動きとなってしまう。そこで、本変形例では、コンピュータアニメーションの分野で利用されているキーフレーム法を用いる。

キーフレーム法とは、キーになる姿勢間の姿勢を補間して生成する手法である（キーフレーム補間ともいわれる）。キーフレーム法を用いてキーになる姿勢間の姿勢情報（すなわち、α，β，γ，θ，φ，ψ等のモーションデータ）を補間して生成することにより滑らかなアニメーションを表現することができる。動作表示画像生成部３９５Ｂは、識別ＩＤに対応する代表特徴ベクトルＶｉを構成する姿勢情報（モーションデータ）を制御点として、識別ＩＤの時系列の変化に応じて生成される制御点間の姿勢情報（モーションデータ）を補間生成し、モーション画像を生成する。表示制御部３９２は、動作表示画像生成部３９５Ｂにより生成されたモーション画像に基づいて、アニメーション３６７を表示装置１６５の表示画面１６５ａに表示させる。

図２２を参照して、キーフレーム法を用いてモーションデータを補間生成する一例について説明する。図２２は、識別ＩＤが「５」→「７」→「１０」の順に変化したときに補間生成されるモーションデータについて説明する図である。なお、説明の簡単化のため、傾斜角θ，φ及び旋回角ψは、所定の角度（０°）で時間変化していないものとして説明する。

ここで、識別ＩＤ「５」に対応する姿勢３６８ａ、識別ＩＤ「７」に対応する姿勢３６８ｃ、及び識別ＩＤ「１０」に対応する姿勢３６８ｅを表す画像が順番に表示装置１６５に表示されると、ギクシャクした動きとなってしまう。本変形例では、上述したように、識別ＩＤ「５」，「７」，「１０」に対応する代表特徴ベクトルＶｉの姿勢情報をキーフレームとしたキーフレーム補間法を用いて、キーフレーム間のモーション画像を生成する。動作表示画像生成部３９５Ｂは、識別ＩＤに紐づいている各特徴量（ブーム角度α、アーム角度β、バケット角度γ）を制御点（キーとなるモーションデータ）としてスプライン関数などの補間関数を用いて、キーフレーム間の時刻におけるモーションデータ（ブーム角度α、アーム角度β、バケット角度γ）を補間演算する。つまり、動作表示画像生成部３９５Ｂは、識別ＩＤ「５」，「７」，「１０」の３点のモーションデータ（α，β，γ）に基づいて、識別ＩＤ「５」における姿勢３６８ａと識別ＩＤ「７」における姿勢３６８ｃとの間の姿勢３６８ｂを表すモーションデータ（α，β，γ）、及び、識別ＩＤ「７」における姿勢３６８ｃと識別ＩＤ「１０」における姿勢３６８ｅとの間の姿勢３６８ｄを表すモーションデータ（α，β，γ）を生成する。

動作表示画像生成部３９５Ｂは、識別ＩＤ「５」と識別ＩＤ「７」の間の時刻におけるモーションデータ（補間演算により得られたモーションデータ）に基づいて、姿勢３６８ｂのモーション画像を生成する。同様に、動作表示画像生成部３９５Ｂは、識別ＩＤ「７」と識別ＩＤ「１０」の間の時刻におけるモーションデータ（補間演算により得られたモーションデータ）に基づいて、姿勢３６８ｄのモーション画像を生成する。なお、図２２では、キーフレーム間の姿勢が１つの場合について示しているが、実際には、複数の姿勢を表すためのモーションデータを補間により生成する。アニメーションは一般的に１秒当たり３０枚の画像で構成される。このため、識別ＩＤが「５」→「７」→「１０」の順に変化する時間が１０秒である場合、３００枚（１０秒×３０枚／秒）の画像が必要になる。つまり、動画表示画像生成部３９５Ｂは、１０秒程度のアニメーションを生成する場合、時系列に変化するブーム角度α，アーム角度β及びバケット角度γ（モーションデータ）をそれぞれ３００個程度生成する。次に、動作表示画像生成部３９５Ｂは、補間した各時刻におけるモーション画像を３ＤＣＧの手法で生成する（つまり、形状の投影変換を行う）。これにより、３００枚程度のモーション画像が生成される。表示制御部３９２は、３００枚程度の画像を３０枚／秒程度の速度で順次切り替えて表示装置１６５の表示画面１６５ａに表示させる。これにより、アニメーションによる滑らかな動作表現が可能になる。なお、スプライン関数を補間関数として用いてモーションデータを補間生成する方法について説明したが、これに限らず、種々の補間方法によってモーションデータを生成してもよい。

このように、本変形例では、管理サーバ１５０が、情報出力処理において、識別ＩＤに対応する代表特徴ベクトルＶｉを構成する特徴量（姿勢情報）をキーフレームとして、識別ＩＤの時系列の変化に応じて生成されるキーフレーム間を補間してモーションデータを生成し、モーションデータに基づいて表示装置１６５に油圧ショベル１０１Ａのアニメーション３６７を表示させる。このような本変形例によれば、上記第３実施形態と同様、アニメーション３６７によって滑らかな動きを表現できるので、表示装置１６５の閲覧者は、油圧ショベル１０１Ａの動作を容易に把握することができる。

また、キーフレーム法でアニメーション３６７を生成する場合、キーフレームは人手で作成するのが一般的であり、モーションデータの作成に手間がかかる。これに対して、本変形例では、クラスタリングにより生成される代表特徴ベクトルＶｉに基づいて、モーションデータが自動生成される。したがって、人手で作成する手間を省略することができ、かつ、視覚的に分かり易い油圧ショベル１０１Ａの動作のアニメーション表示が可能になる。

なお、管理サーバ１５０は、キーフレーム法により、キーフレーム間を補間するモーションデータを生成することなく、識別ＩＤに対応する代表特徴ベクトルＶｉに基づいて生成されるイラスト画像（例えば、姿勢３６８ａ、姿勢３６８ｃ、姿勢３６８ｅの静止画像）を表示装置１６５の表示画面１６５ａに順次表示させるようにしてもよい。ギクシャクした動作表現となるが、イラスト画像を表示装置１６５に表示させない場合に比べて、動作の把握を容易に行うことができる。また、キーフレーム法でアニメーション３６７を生成する場合に比べて、管理サーバ１５０に廉価なＣＰＵ１５１を採用することができるので、管理サーバ１５０の低コスト化を図ることができる。

＜第３実施形態の変形例２＞
第３実施形態では、出力制御部３９０は、類似度画像１６６、動作名画像３６６ｆ、付加情報画像３６６ｇ、時刻画像３６６ｈ、及びアニメーション３６７を表示装置１６５の表示画面１６５ａに表示させる例について説明したが、本発明はこれに限定されない。出力制御部３９０は、図２３に示すように、所定の動作の累積発生回数の時間変化を表す画像（累積発生回数画像）３６６ｊと、累積発生回数に基づいて演算される故障リスクを表す画像（故障リスク画像）３６６ｉと、所定の動作の特徴的な姿勢の静止画像３６６ｋを表示装置１６５の表示画面１６５ａに表示させるようにしてもよい。

図１９に示す動作認識部２９３は、第２実施形態と同様、類似度（コスト）に基づいて、所定の動作が行われたか否かを判定し、その判定結果に基づいて累積発生回数テーブルを作成する。所定の動作の累積発生回数が多くなるほど、所定の部品の故障の可能性が高くなる場合がある。本変形例では、出力制御部３９０は、所定の動作の累積発生回数に応じた故障の可能性の度合い（故障リスクのレベル）を表す画像を故障リスク画像３６６ｉとして表示装置１６５の表示画面１６５ａに表示させる（図２３参照）。

動作認識部２９３は、累積発生回数が第１閾値未満では、故障リスクのレベルを１に設定し、累積発生回数が第１閾値以上第２閾値未満では、故障リスクのレベルを２に設定し、累積発生回数が第３閾値以上では、故障リスクのレベルを３に設定する。表示制御部３９２は、動作認識部２９３により設定された故障リスクのレベルを表す画像を故障リスク画像３６６ｉとして表示装置１６５の表示画面１６５ａに表示させる（図２３参照）。また、表示制御部３９２は、所定の動作の特徴的な姿勢の静止画像３６６ｋを表示装置１６５の表示画面１６５ａに表示させる。静止画像３６６ｋは、付加情報として、所定の動作に対応付けられて記憶されている。なお、静止画像３６６ｋは、多次元収集データテーブル１１７に含まれる、所定の動作が行われているときの姿勢情報から作成してもよいし、所定の動作に対応する登録ＩＤパターンを構成する識別ＩＤに基づいて作成してもよい。

第２実施形態では、累積発生回数の時間変化を表す画像が表示装置１６５に表示されるのみであったため、閲覧者が、所定の部品の故障の可能性の度合いを判断する必要があった。これに対して、第３実施形態の変形例２では、管理サーバ１５０が所定の部品の故障の可能性の度合い（故障リスクのレベル）を演算し、その演算結果に基づいて故障の可能性の度合いを表す画像（故障リスク画像）３６６ｉを表示装置１６５に表示させるようにした。このため、閲覧者は、故障の可能性の度合いを容易に判断することができる。また、累積発生回数の時間変化を表す累積発生回数画像３６６ｊから、故障の可能性が高まる動作の発生頻度を将来的な時間変化との相関関係で把握することができる。

なお、故障リスクのレベルの設定方法は、一の動作の累積発生回数に基づいて設定する場合に限らず、複数の動作の累積発生回数に基づいて設定してもよい。この場合、動作に応じた重みを付与してもよい。また、累積発生回数に代えて、累積疲労損傷度、または寿命消費量に基づいて、故障リスクのレベルを設定してもよい。なお故障リスクのレベルは例えば低い順から高い順に１から３など、少なくとも２以上の段階であればよい。

図２３は、本発明の第３実施形態の変形例２に係る動作把握システムの表示装置１６５の表示画面１６５ａに表示される画像の一例について示す図である。図２３に示す例では、累積発生回数画像３６６ｊは、累積発生回数が時間の経過とともに増加するように表示される。上図に示す表示画面１６５ａには、所定時刻ｔ１までの動作の発生回数の累積値を表す累積発生回数画像３６６ｊが表示される。累積発生回数画像３６６ｊは、累積発生回数と回数に対応する故障リスクのレベルが関連付けられた画像であってもよい。図に示す例では、累積発生回数画像３６６ｊに、故障リスクのレベルの設定に用いられる第１閾値を表す基準線３６６ｍａ及び第２閾値を表す基準線３６６ｍｂが含まれている。また、表示画面１６５ａには、時刻ｔ１における故障リスクのレベルが１であることを表す故障リスク画像３６６ｉが表示される。時間の経過とともに累積発生回数が増加すると、下図に示すように、所定の時刻ｔ２までの動作の発生回数の累積値を表す累積発生回数画像３６６ｊが表示画面１６５ａに表示される。また、表示画面１６５ａには、時刻ｔ２における故障リスクのレベルが３であることを表す故障リスク画像３６６ｉが表示される。なお、図示するように、故障リスクのレベルが３である場合に、「お近くの代理店にご連絡ください」といった代理店等への連絡を促すメッセージ画像３６６ｎを表示画面１６５ａに表示させてもよい。

なお、図２３では、故障リスクのレベルを表示する例について図示しているが、故障リスクの変化を表すメッセージ（例えば、部品Ａの故障リスクのレベルが１から２に上昇しました）を表示装置１６５の表示画面１６５ａに表示させてもよい。通知の態様は表示に限られるものではなく、例えば外部の端末へのメールであってもよい。これにより、所定の部品の故障リスクが高まったことを閲覧者に通知することができ、所定の動作の回数を低減するように注意を喚起させることができる。また、故障リスクのレベルに応じて故障リスク画像３６６ｉの背景色を異ならせてもよい。例えば、故障リスクのレベルが１の場合には故障リスク画像３６６ｉの背景色を青色とし、故障リスクのレベルが２の場合には故障リスク画像３６６ｉの背景色を黄色とし、故障リスクのレベルが３の場合には故障リスク画像３６６ｉの背景色を赤色としてもよい。

さらに、作業機械１０１の部位と、その部位の累積損傷度（または故障リスク）とを関連付けた画像が、表示装置１６５の表示画面１６５ａに表示されるようにしてもよい。例えば、静止画像３６６ｋにおいて、該当部位が特定できるように、丸などの図形で該当部位を囲む枠画像を表示してもよい。その際、故障リスクの高い部位（レベル３）のみを赤い丸で囲って明示してもよく、あるいはレベルごとの複数の色分けを組み合わせて表示してもよい。組み合わせは任意に設定可能である。なお表示対象の部位が多く、静止画像３６６ｋの表示領域が不足する場合は、動作名画像３６６ｆ、付加情報画像３６６ｇ、故障リスク画像３６６ｉ、メッセージ画像３６６ｎを表示せず、それらが表示されていた領域を含む領域において、静止画像３６６ｋを拡大表示してもよい。こうすることで閲覧者は作業機械１０１の全体像（静止画像３６６ｋ）からどの部位の損傷度が高くなっているかを直感的かつ視覚的に把握することができる。

＜第４実施形態＞
図２４を参照して、第４実施形態に係る動作把握システムについて説明する。なお、図中、第１及び第２実施形態と同一もしくは相当部分には同一の参照番号を付し、相違点を主に説明する。第４実施形態に係る動作把握システムでは、所定の動作の継続時間の測定を行う。継続時間とは、例えば、「掘削動作」、「積込動作」、「掘削積込動作」等、所定の動作が開始されてから終了するまでの作業時間に相当する。

図２４は、本発明の第４実施形態に係る動作把握システムの出力制御部４９０及び出力制御部４９０が用いるデータについて示す図である。図２４に示すように、出力制御部４９０は、継続時間計測部４９８を有している。継続時間計測部４９８は、識別ＩＤ列生成部１８１で生成された識別ＩＤテーブル１８５の識別ＩＤ列から登録ＩＤパターンの始点（所定の動作の開始時刻）と終点（所定の動作の終了時刻）を探索し、所定の動作の開始時刻から終了時刻までの時間を、所定の動作の継続時間として算出する。動作認識部２９３は、上述と同様、類似度に基づいて所定の動作が行われたか否かを判定する。

継続時間計測部４９８は、識別ＩＤテーブル１８５を参照し、所定の動作が行われたと判定された時刻の識別ＩＤが、その時刻以降においても連続して設定されているか否かを判定する。識別ＩＤが連続して設定されていると判定されると、継続時間計測部４９８は、識別ＩＤが連続して設定されている同じ識別ＩＤの最後の時刻を、所定の動作の終了時刻として設定する。識別ＩＤが連続して設定されていないと判定されると、継続時間計測部４９８は、所定の動作が行われたと判定された時刻を、所定の動作の終了時刻として設定する。

継続時間計測部４９８は、識別ＩＤテーブル１８５を参照し、所定の動作が行われたと判定された時刻よりも前の時刻において、所定の動作に対応する登録ＩＤパターンの最初の識別ＩＤが出現した時刻を、所定の動作の開始時刻として設定する。

図１４を参照して、継続時間の計測方法の具体例について説明する。図１４に示す例では、動作認識部２９３は、時刻「１３：００：０７」において、動作Ａが行われたと判定する。継続時間計測部４９８は、時刻「１３：００：０７」の識別ＩＤ２０３が時刻１３：００：０８においても設定されているか否かを判定する。時刻「１３：００：０８」においても識別ＩＤ２０３が設定されているため、継続時間計測部４９８は、識別ＩＤが連続して設定されている同じ識別ＩＤの最後の時刻「１３：００：０８」を、動作Ａの終了時刻として設定する。継続時間計測部４９８は、動作Ａが行われたと判定された時刻「１３：００：０７」よりも前の時刻において、動作Ａに対応する登録ＩＤパターン「２０３」→「７０」→「２０３」の最初の識別ＩＤが出現した時刻「１３：００：０２」を、動作Ａの開始時刻として設定する。継続時間計測部４９８は、動作Ａの終了時刻「１３：００：０８」から開始時刻「１３：００：０２」を差し引くことにより、継続時間「６ｓｅｃ」を算出する。

図２４に示す表示制御部４９２は、所定期間内における動作ごとの継続時間の平均値、積算値等を表す表示画像を表示装置１６５の表示画面１６５ａに表示させる。なお、動作の継続時間、動作の開始時刻及び終了時刻は、油圧ショベル１０１Ａの動作の分析を行うアプリケーションを搭載した機器（例えば、メンテナンス作業員が所持する携帯端末）に送信してもよい。

本実施形態に係る管理サーバ１５０は、情報出力処理において、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作の継続時間を演算し、その演算結果に基づいて継続時間を表す出力情報を生成し、出力情報を表示装置（出力装置）１６５によって出力させる。なお、本実施形態では、油圧ショベル１０１Ａの動作の継続時間、開始時刻及び終了時刻を計測して、それらの情報を表示装置１６５に表示させる。したがって、表示装置１６５を閲覧する閲覧者は、表示装置１６５に表示されている動作の継続時間、開始時刻及び終了時刻を、油圧ショベル１０１Ａの作業の分析に役立てることができる。

次のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、上述の異なる実施形態で説明した構成同士を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせることも可能である。

＜変形例１＞
上記実施形態では、管理装置１０５が、油圧ショベル１０１Ａの動作把握システム１０として機能する例について説明したが、本発明はこれに限定されない。油圧ショベル１０１Ａのみによって動作把握システム１０を構成するようにしてもよいし、油圧ショベル１０１Ａと管理装置１０５によって、動作把握システム１０Ｂ，１０Ｃ（図２５、図２６参照）を構成するようにしてもよい。

＜変形例１－１＞
図２５は、図２と同様の図であり、変形例１－１に係る動作把握システム１０Ｂの機能ブロック図である。本変形例は、油圧ショベル１０１Ａの車体コントローラ５１０が、分類モデル１７５を作成する機能、及び、識別ＩＤテーブル１８５を作成する機能を有し、管理サーバ５５０が、それらの機能を有していない点が第１実施形態と異なる。

図２５に示すように、油圧ショベル１０１Ａの車体コントローラ５１０は、ＲＯＭ１１２に記憶されているプログラムを実行することにより、特徴ベクトル生成部１７２、分類部１７３、識別ＩＤ付与部１７４、識別ＩＤ列生成部１８１及びデータ送信部１２９として機能する。識別ＩＤ列生成部１８１は、特徴量データテーブル１７６及び分類モデル１７５に基づいて、識別ＩＤテーブル１８５を生成し、ＨＤＤ１１６に記憶する。データ送信部１２９は、ＨＤＤ１１６に記憶されている識別ＩＤテーブル１８５を通信装置１２８により、通信回線１０９を介して管理装置１０５に送信する。

管理装置１０５の管理サーバ５５０は、ＲＯＭ１５２に記憶されているプログラムを実行することにより、データ取得部１７１、ＩＤパターン抽出部１８２、類似度演算部１９１及び表示制御部１９２として機能する。

データ取得部１７１は、通信装置１６２によって、油圧ショベル１０１Ａから通信回線１０９を介して識別ＩＤテーブル１８５及び動作データテーブル１１８を取得し、ＨＤＤ１５６に記憶する。なお、ＩＤパターン抽出部１８２、類似度演算部１９１及び表示制御部１９２は、第１実施形態と同様の機能を有するため、詳細な説明を省略する。

このように、本変形例に係る動作把握システム１０Ｂは、油圧ショベル１０１Ａが有する車体コントローラ（第１制御装置）５１０と、油圧ショベル１０１Ａの外部に配置される管理装置（外部装置）１０５が有する管理サーバ（第２制御装置）５５０と、を有する。車体コントローラ５１０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、識別ＩＤの時系列の変化を表す識別ＩＤ列の情報を管理装置１０５に送信する第１の情報出力処理を実行可能である。また、管理サーバ５５０は、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作を把握するための出力情報を生成し、出力情報を表示装置（出力装置）１６５によって出力させる第２の情報出力処理を実行可能である。

第１実施形態では、サンプリング周期ごとに取得された複数種類の収集情報（物理量）からなる多次元収集データテーブル１１７を通信回線１０９を介して油圧ショベル１０１Ａから管理装置１０５に送信していた。これに対して、本変形例では、油圧ショベル１０１Ａの車体コントローラ５１０が識別ＩＤの時系列の変化のデータテーブルである識別ＩＤテーブル１８５を生成し、生成した識別ＩＤテーブル１８５を、通信回線１０９を介して管理装置１０５に送信する。識別ＩＤテーブル１８５は、多次元収集データテーブル１１７に比べてデータ量が小さい。したがって、本変形例によれば、第１実施形態に比べて、通信量の低減を図ることができる。

なお、識別ＩＤの特徴量位置間の距離によるコスト計算方法（計算方法Ｂ）により、コストを計算する場合には、予め分類モデル１７５を、油圧ショベル１０１Ａの車体コントローラ５１０から通信回線１０９を介して管理装置１０５の管理サーバ５５０に送信し、ＨＤＤ１５６に記憶させておけばよい。また、類似度演算部１９１での演算結果を通信回線１０９を介して、メンテナンス作業員が所持する携帯端末に送信し、携帯端末のアプリケーションによって類似度画像１６６を携帯端末の表示画面に表示させるようにしてもよい。

＜変形例１－２＞
図２６は、図２と同様の図であり、変形例１－２に係る動作把握システム１０Ｃの機能ブロック図である。本変形例は、油圧ショベル１０１Ａの車体コントローラ６１０が、分類モデル１７５を作成する機能、識別ＩＤテーブル１８５を作成する機能、ＩＤパターンモデル１８４を作成する機能を有し、管理サーバ６５０が、それらの機能を有していない点が第１実施形態と異なる。

図２６に示すように、油圧ショベル１０１Ａの車体コントローラ６１０は、ＲＯＭ１１２に記憶されているプログラムを実行することにより、特徴ベクトル生成部１７２、分類部１７３、識別ＩＤ付与部１７４、識別ＩＤ列生成部１８１、ＩＤパターン抽出部１８２、類似度演算部１９１及びデータ送信部１２９として機能する。識別ＩＤ列生成部１８１は、特徴量データテーブル１７６及び分類モデル１７５に基づいて、識別ＩＤテーブル１８５（図８参照）を生成し、ＨＤＤ１１６に記憶する。また、ＩＤパターン抽出部１８２は、識別ＩＤテーブル１８５及び動作データテーブル１１８に基づいて、ＩＤパターンモデル１８４を生成し、ＨＤＤ１１６に記憶する。データ送信部１２９は、類似度演算部１９１での演算結果を通信装置１２８により、通信回線１０９を介して管理装置１０５に送信する。

管理装置１０５の管理サーバ６５０は、ＲＯＭ１５２に記憶されているプログラムを実行することにより、データ取得部１７１、分析部６９３及びデータ送信部６９２として機能する。

データ取得部１７１は、通信装置１６２によって、油圧ショベル１０１Ａから通信回線１０９を介して類似度演算部１９１での演算結果（データ）を取得し、ＨＤＤ１５６に記憶する。

分析部６９３は、例えば、第２実施形態及び第２実施形態の変形例１で説明した動作認識部２９３であり、動作の累積発生回数及び動作の発生頻度等、油圧ショベル１０１Ａの動作を分析するための分析用データを生成する。データ送信部６９２は、分析用データを通信装置１６２により、通信回線１０９を介してメンテナンス作業員等、油圧ショベル１０１Ａの動作の分析を行うユーザが所有する通信端末９１，９２，９３に送信する。通信端末９１，９２，９３は、所定のアプリケーションが実行されることにより、分析用データに関する表示画像（例えば、累積発生回数画像、発生頻度画像）を通信端末９１，９２，９３の表示画面に表示させる。

このように、本変形例に係る動作把握システム１０Ｃは、油圧ショベル１０１Ａが有する車体コントローラ（第１制御装置）６１０と、油圧ショベル１０１Ａの外部に配置される管理装置（外部装置）１０５が有する管理サーバ（第２制御装置）６５０と、を有する。車体コントローラ６１０は、時系列で変化する油圧ショベル１０１Ａの情報を特徴量とする特徴ベクトルＶを時分割で演算し、分類モデル１７５に基づいて、時分割で演算された複数の特徴ベクトルＶに識別ＩＤを付与し、識別ＩＤの時系列の変化及びＩＤパターンモデル１８４に基づいて、所定の動作を把握するための出力情報を生成し、出力情報を管理装置１０５に送信する第１の情報出力処理を実行可能である。また、管理サーバ６５０は、出力情報を通信装置（出力装置）１６２によって通信端末９１，９２，９３に出力させる第２の情報出力処理を実行可能である。このような変形例によれば、第１実施形態に比べて、通信量の低減を図ることができる。なお、管理サーバ６５０は、第２の情報出力処理において、出力情報を表示装置（出力装置）１６５によって出力させてもよい。

＜変形例１－３＞
図示しないが、油圧ショベル１０１Ａの車体コントローラ１１０が、第３実施形態の変形例１で説明した出力制御部３９０Ｂの機能を有していてもよい。この場合、出力制御部３９０Ｂは、通信回線１０９を介して油圧ショベル１０１Ａのモーションデータを管理装置１０５に送信する。管理装置１０５は、取得したモーションデータに基づいて、油圧ショベル１０１Ａのアニメーション３６７を表示装置１６５の表示画面１６５ａに表示させる。ここで、油圧ショベル１０１Ａから送信するモーションデータは、図２２の姿勢３６８ａ，３６８ｃ，３６８ｅに対応するモーションデータとして、管理装置１０５側で、キーフレーム法により、姿勢３６８ｂ，３６８ｄに対応するモーションデータを補間演算して表示装置１６５の表示画面１６５ａに表示することが好ましい。これにより、油圧ショベル１０１Ａから管理装置１０５に送信するデータ量の低減を図ることができる。

＜変形例２＞
上記実施形態では、作業機械１０１の情報を通信回線１０９を介して管理装置１０５に送信する例について説明したが、本発明はこれに限定されない。作業機械１０１の情報をメモリーカード等の可搬可能な記憶媒体に記憶し、管理装置１０５に記憶媒体の情報を読み込ませるようにしてもよい。

＜変形例３＞
第１実施形態では、管理装置１０５は、油圧ショベル１０１Ａの所定の動作を把握するための出力情報として表示画像の情報を生成し、表示装置１６５の表示画面１６５ａに表示画像を表示させる例について説明したが、本発明はこれに限定されない。管理サーバ１５０は、油圧ショベル１０１Ａの所定の動作を把握するための出力情報として印刷画像の情報を生成し、出力装置としての印刷装置によって出力情報を出力させる、すなわち紙媒体に印刷画像を印刷させるようにしてもよい。また、管理サーバ１５０は、油圧ショベル１０１Ａの所定の動作を把握するための出力情報を、出力装置としての通信装置１６２を介して、スマートフォン、タブレットＰＣ、携帯電話等の携帯端末に送信（出力）するようにしてもよい。これにより、携帯端末の所有者は、携帯端末を操作することにより、油圧ショベル１０１Ａの所定の動作を把握するための情報を表示画面に表示させることができる。

＜変形例４＞
第３実施形態の変形例１では、動作表示画像生成部３９５Ｂが、識別ＩＤテーブル１８５を構成する全ての識別ＩＤに対応するモーション画像を生成し、アニメーション３６７を生成する例について説明したが、本発明はこれに限定されない。動作認識部２９３で認識された動作のみ、モーション画像を生成してもよい。なお、動作認識部２９３によって、識別ＩＤ列生成部１８１で生成された識別ＩＤ列「５」→「７」→「８」→「１０」に対して、登録ＩＤパターン「５」→「７」→「１０」の動作が行われたと判定された場合、動作表示画像生成部３９５Ｂは、登録ＩＤパターン「５」→「７」→「１０」に基づいてモーション画像を生成してもよい。つまり、識別ＩＤ「８」のモーション画像を省いたアニメーションを生成してもよい。

＜変形例５＞
上記実施形態では、学習用の多次元収集データテーブル１１７ａ，１１７ｂが、油圧ショベル１０１Ａの実機データによって作成される例について説明したが、本発明はこれに限定されない。油圧ショベル１０１Ａの動作を模擬したシミュレータを用いて模擬操作を行い、そのときに得られるシミュレーションデータによって学習用の多次元収集データテーブル１１７ａ，１１７ｂを作成してもよい。

＜変形例６＞
上記実施形態では、作業機械１０１が油圧ショベル１０１Ａ、ダンプトラック１０１Ｂ及び作業ロボット１０１Ｃである例について説明したが、本発明はこれに限定されない。ホイールローダ、クローラクレーンなどの作業機械に本発明を適用してもよい。また、作業機械１０１に限定されることもなく、動作が時系列で変化する機械であれば、本発明の適用が可能である。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

４…作業装置、１０，１０Ｂ，１０Ｃ…動作把握システム、１０１…作業機械、１０１Ａ…油圧ショベル（機械）、１０１Ｂ…ダンプトラック（機械）、１０１Ｃ…作業ロボット（機械）、１０５…管理装置（外部装置）、１０９…通信回線、１１０…車体コントローラ（第１制御装置、制御装置）、１１７…多次元収集データテーブル、１１８…動作データテーブル、１２１…ボトム圧センサ（センサ）、１２２…ロッド圧センサ（センサ）、１２３…ブーム操作センサ（センサ）、１２４…ブーム角度センサ（姿勢センサ、センサ）、１２５…温度センサ（センサ）、１２８…通信装置（出力装置）、１５０…管理サーバ（第２制御装置、制御装置）、１６２…通信装置（出力装置）、１６５…表示装置（出力装置）、１６６…類似度画像、１７０…分類モデル作成部、１７２…特徴ベクトル生成部、１７３…分類部、１７４…識別ＩＤ付与部、１７５…分類モデル、１７６…特徴量データテーブル、１８０…ＩＤパターンモデル作成部、１８１…識別ＩＤ列生成部、１８２…ＩＤパターン抽出部、１８４…ＩＤパターンモデル、１８５…識別ＩＤテーブル、１９０…出力制御部、１９１…類似度演算部、１９２…表示制御部（出力制御部）、２９０…出力制御部、２９３…動作認識部、３６６ｇ…付加情報画像、３６６ｉ…故障リスク画像、３６６ｊ…累積発生回数画像、３６６ｋ…静止画像、３６７…アニメーション（動画）、３９０，３９０Ｂ…出力制御部、３９２…表示制御部、３９４…付加情報選択部、３９５，３９５Ｂ…動作表示画像生成部、３９６…付加情報データテーブル、３９７…動作表示用データベース、４９０…出力制御部、４９２…表示制御部、４９８…継続時間計測部、５１０…車体コントローラ（第１制御装置）、５５０…管理サーバ（第２制御装置）、６１０…車体コントローラ（第１制御装置）、６５０…管理サーバ（第２制御装置）、６９３…分析部、Ｃ…コスト（類似度）

Claims (12)

1. 情報を出力する表示装置と、
   時系列で変化する稼動に伴う機械の情報を取得し、前記機械の情報に基づいて、前記機械の動作を把握するための出力情報を生成し、前記表示装置によって前記出力情報を出力させる制御装置と、を備えた動作把握システムにおいて、
   前記制御装置は、
   時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記時分割で演算された複数の特徴ベクトルを複数のクラスタに分類し、前記複数のクラスタに識別ＩＤを付与することにより、分類モデルを作成する分類モデル作成処理と、
   時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記機械の所定の動作に対応して時系列で変化する前記識別ＩＤのパターンを前記所定の動作の識別情報と対応付けて記憶することにより、ＩＤパターンモデルを作成するＩＤパターンモデル作成処理と、
   時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作を把握するための出力情報を生成し、前記出力情報を前記表示装置によって出力させる情報出力処理と、を実行可能である、
   ことを特徴とする動作把握システム。
2. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤの時系列の変化と、前記ＩＤパターンモデルの前記識別ＩＤのパターンとの類似度を演算し、前記類似度を表す情報を前記出力情報として生成し、前記出力情報を前記表示装置によって出力させる、
   ことを特徴とする動作把握システム。
3. 請求項１に記載の動作把握システムにおいて、
   前記識別情報に対応して付加情報が記憶された記憶装置を備え、
   前記制御装置は、前記情報出力処理において、前記識別情報及び前記付加情報に基づいて前記出力情報を生成し、前記出力情報を前記表示装置によって出力させる、
   ことを特徴とする動作把握システム。
4. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作が行われた回数を演算し、その演算結果に基づいて前記出力情報を生成し、前記出力情報を前記表示装置によって出力させる、
   ことを特徴とする動作把握システム。
5. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、少なくとも前記所定の動作の時間軸上での発生頻度及び所定領域内での発生頻度のいずれかを演算し、その演算結果に基づいて前記出力情報を生成し、前記出力情報を前記表示装置によって出力させる、
   ことを特徴とする動作把握システム。
6. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記特徴ベクトルの演算に用いた前記機械の姿勢情報と前記機械の形状データに基づいて、前記機械のモーションデータを生成し、前記モーションデータに基づいて前記機械のアニメーションを前記表示装置に表示させる、
   ことを特徴とする動作把握システム。
7. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤに対応する特徴ベクトルをキーフレームとして、前記識別ＩＤの時系列の変化に応じて生成される前記キーフレーム間を補間してモーションデータを生成し、前記モーションデータに基づいて前記機械のアニメーションを前記表示装置に表示させる、
   ことを特徴とする動作把握システム。
8. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤに対応する特徴ベクトルに基づいて生成される静止画像を前記表示装置に表示させる、
   ことを特徴とする動作把握システム。
9. 請求項１に記載の動作把握システムにおいて、
   前記制御装置は、前記情報出力処理において、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作の継続時間を演算し、その演算結果に基づいて前記出力情報を生成し、前記出力情報を前記表示装置によって出力させる、
   ことを特徴とする動作把握システム。
10. 請求項１に記載の動作把握システムにおいて、
    前記機械は、作業装置を有する作業機械であり、複数のセンサを有し、
    前記制御装置は、前記センサで検出された複数の異なる種類の物理量から算出される物理量を特徴量とする、
    ことを特徴とする動作把握システム。
11. 請求項１に記載の動作把握システムにおいて、
    前記機械は、作業装置を有する作業機械であり、
    前記制御装置は、前記作業機械が有する第１制御装置と、前記作業機械の外部に配置される外部装置が有する第２制御装置と、を有し、
    前記第１制御装置は、時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記識別ＩＤの時系列の変化を表す識別ＩＤ列の情報を前記外部装置に送信する第１の前記情報出力処理を実行可能であり、
    前記第２制御装置は、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作を把握するための出力情報を生成し、前記出力情報を前記表示装置によって出力させる第２の前記情報出力処理を実行可能である、
    ことを特徴とする動作把握システム。
12. 請求項１に記載の動作把握システムにおいて、
    前記機械は、作業装置を有する作業機械であり、
    前記制御装置は、前記作業機械が有する第１制御装置と、前記作業機械の外部に配置される外部装置が有する第２制御装置と、を有し、
    前記第１制御装置は、時系列で変化する機械の情報を特徴量とする特徴ベクトルを時分割で演算し、前記分類モデルに基づいて、前記時分割で演算された複数の特徴ベクトルに前記識別ＩＤを付与し、前記識別ＩＤの時系列の変化及び前記ＩＤパターンモデルに基づいて、前記所定の動作を把握するための出力情報を生成し、前記出力情報を前記外部装置に送信する第１の前記情報出力処理を実行可能であり、
    前記第２制御装置は、前記出力情報を前記表示装置によって出力させる第２の前記情報出力処理を実行可能である、
    ことを特徴とする動作把握システム。

Images