JP2023107169A - 作業機械の動作状態算出装置 - Google Patents
作業機械の動作状態算出装置 Download PDFInfo
- Publication number
- JP2023107169A JP2023107169A JP2022008317A JP2022008317A JP2023107169A JP 2023107169 A JP2023107169 A JP 2023107169A JP 2022008317 A JP2022008317 A JP 2022008317A JP 2022008317 A JP2022008317 A JP 2022008317A JP 2023107169 A JP2023107169 A JP 2023107169A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- damage
- work machine
- operating state
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 103
- 230000006378 damage Effects 0.000 claims abstract description 289
- 239000013598 vector Substances 0.000 claims abstract description 188
- 238000013145 classification model Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 304
- 238000010586 diagram Methods 0.000 claims description 49
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 48
- 238000012986 modification Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000003252 repetitive effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 230000000254 damaging effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009528 severe injury Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Operation Control Of Excavators (AREA)
Abstract
【課題】作業機械にダメージを与える動作状態を容易に知ることのできる装置を提供する。【解決手段】作業機械の動作状態算出装置は処理装置と出力装置を備える。処理装置は、稼働情報を特徴量とする特徴ベクトルを時刻毎に演算し、分類モデルに基づいて特徴ベクトルに分類IDを付与する。処理装置は、複数の稼働情報に基づいて、作業機械が受けたダメージを時刻毎に演算する。処理装置は、時刻、分類ID及びダメージを紐付けたデータベースを記憶する。処理装置は、データベースに基づいて、分類ID毎のダメージの代表値を演算し、分類IDの代表特徴ベクトルを構成する複数の特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する作業機械の動作状態を表す文を生成し、その文と、その文の生成に用いた代表特徴ベクトルに紐付けられている分類IDに対して演算されたダメージの代表値と、を関連付けた動作情報を出力装置に出力する。【選択図】図2
Description
本発明は、作業機械の動作状態算出装置に関する。
特許文献1には、応力振幅の開始時刻及び終了時刻を作業機械の作業内容(空荷移動、土砂積込、積載移動等)と紐付けて可視化する発明が開示されている。
作業機械は、作業中に様々な動作を行い、その姿勢、動作速度等の動作状態が時系列的に変化する。特許文献1に記載の発明では、空荷移動、土砂積込といった作業内容について知ることはできるが、どのような動作状態のときに作業機械にダメージが与えられているのかを具体的に知ることができず、この観点で改善の余地があった。
本発明は、作業機械にダメージを与える動作状態を容易に知ることのできる作業機械の動作状態算出装置を提供することを目的とする。
本発明の一態様による作業機械の動作状態算出装置は、時系列的に変化する作業機械の稼働に伴う複数の稼働情報に基づいて前記作業機械の動作状態を算出する処理装置と、前記処理装置により算出された前記作業機械の動作状態を表す動作情報を出力する出力装置と、を備える。前記処理装置は、前記複数の稼働情報を特徴量とする特徴ベクトルを複数の時刻毎に演算し、前記作業機械の動作状態を表す特徴ベクトルのクラスタの代表値である代表特徴ベクトルと分類IDとが紐付けられた分類モデルに基づいて、複数の時刻毎に演算された前記特徴ベクトルに前記分類IDを付与し、前記複数の稼働情報に基づいて、前記作業機械が受けたダメージを複数の時刻毎に演算し、時刻と、演算された前記特徴ベクトルに付与された前記分類IDと、演算された前記ダメージと、を紐付けたデータベースを記憶し、前記データベースに含まれる前記時刻、前記分類ID、及び前記ダメージに基づいて、前記分類ID毎の前記ダメージの代表値を演算し、前記分類IDに紐付けられている前記代表特徴ベクトルを構成する複数の特徴量の大きさに対応する語句を繋ぐことにより、前記分類IDに対応する前記作業機械の動作状態を表す文を生成し、前記作業機械の動作状態を表す文と、前記文の生成に用いた前記代表特徴ベクトルに紐付けられている前記分類IDに対して演算された前記ダメージの代表値とを関連付けた動作情報を前記出力装置に出力し、前記出力装置は、前記処理装置から入力された前記動作情報を出力する。
本発明によれば、作業機械にダメージを与える動作状態を容易に知ることのできる作業機械の動作状態算出装置を提供することができる。
図面を参照して、本発明の実施形態に係る作業機械の動作状態算出装置について説明する。
<第1実施形態>
図1~図13を参照して、本発明の第1実施形態に係る作業機械の動作状態算出装置1について説明する。図1は、作業機械の動作状態算出装置1の構成を示す図である。動作状態算出装置1は、作業現場で作業を行う油圧ショベル101A、ダンプトラック101B、及び作業ロボット101C等の作業機械101に設けられる機械制御装置110と、機械制御装置110に接続される各種装置と、作業現場から離れた場所に設置される管理施設に設けられる管理サーバ150と、管理サーバ150に接続される各種装置と、を含む。
図1~図13を参照して、本発明の第1実施形態に係る作業機械の動作状態算出装置1について説明する。図1は、作業機械の動作状態算出装置1の構成を示す図である。動作状態算出装置1は、作業現場で作業を行う油圧ショベル101A、ダンプトラック101B、及び作業ロボット101C等の作業機械101に設けられる機械制御装置110と、機械制御装置110に接続される各種装置と、作業現場から離れた場所に設置される管理施設に設けられる管理サーバ150と、管理サーバ150に接続される各種装置と、を含む。
油圧ショベル101Aは、走行体2と、走行体2上に旋回可能に設けられた旋回体3と、旋回体3に取り付けられる多関節型のフロント作業装置(以下、単に作業装置と記す)4と、を備える作業機械101である。油圧ショベル101Aは、走行体2と旋回体3とによって車体が構成される。作業装置4は、ブーム11、アーム12及びバケット13、並びにこれらを駆動する油圧シリンダ(ブームシリンダ11a、アームシリンダ12a及びバケットシリンダ13a)を有する。
ダンプトラック101Bは、走行体(車体)と、走行体上に設けられ積荷が積み込まれる荷台(ベッセル)及び荷台を上下方向に回動(起伏動)させる油圧シリンダ(ホイストシリンダ)を有する作業装置と、を備えた作業機械101である。作業ロボット101Cは、多関節型のアーム及び物を把持する把持部を有する作業装置を備えた作業機械101である。
管理サーバ150と、管理サーバ150に接続される各種装置とによって管理装置105が構成される。管理装置105は、作業機械101の動作状態を遠隔で管理する外部装置である。管理施設とは、例えば、作業機械101の製造業者の本社、支社、工場等の施設、作業機械101のレンタル会社、サーバの運営を専門的に行うデータセンタ、作業機械101を所有するオーナーの施設等である。
動作状態算出装置1は、油圧ショベル101A、ダンプトラック101B、作業ロボット101C等の様々な作業機械を動作状態の算出対象とすることができるが、以下では、動作状態算出装置1による動作状態の算出対象が油圧ショベル101Aである場合を例に説明する。
作業現場で作業を行う油圧ショベル101Aと、作業現場から離れた場所に設置される管理装置105とは、広域ネットワークの通信回線109を介して双方向通信を行うことができるように構成されている。すなわち、油圧ショベル101Aと管理装置105とは、通信回線109を介して情報(データ)の送信及び受信を行うことができる。通信回線109は、携帯電話事業者等が展開する携帯電話通信網(移動通信網)、インターネット等である。
油圧ショベル101Aは、油圧ショベル101Aの各部を制御する制御装置である機械制御装置110と、オペレータの操作に応じて機械制御装置110に情報を入力する入力装置120と、油圧ショベル101Aの稼働に伴う稼働情報を検出する複数の検出装置121~124と、機械制御装置110からの制御信号に基づいて画像を表示する表示装置125と、機械制御装置110からの制御信号に基づいて音を出力するスピーカ126と、管理装置105と情報の授受を行う通信装置128と、を備える。
通信装置128は、通信回線109に接続される無線基地局108と無線通信可能な無線通信装置であって、例えば2.1GHz帯等の帯域を感受帯域とする通信アンテナを含む通信インタフェースを有する。通信装置128は、無線基地局108及び通信回線109を介して、管理サーバ150等と情報の授受を行う。
入力装置120は、複数のスイッチを有するスイッチ装置、マイク等である。表示装置125は、例えば、液晶ディスプレイ装置あるいは有機ELディスプレイ装置である。表示装置125は、情報を画像で出力する出力装置であり、スピーカ126は、情報を音で出力する出力装置である。
検出装置121は、油圧シリンダの圧力を検出する装置であって、ブームシリンダ11aのボトム側油室の圧力を検出するボトム圧センサと、ブームシリンダ11aのロッド側油室の圧力を検出するロッド圧センサと、アームシリンダ12aのボトム側油室の圧力を検出するボトム圧センサと、アームシリンダ12aのロッド側油室の圧力を検出するロッド圧センサと、バケットシリンダ13aのボトム側油室の圧力を検出するボトム圧センサと、バケットシリンダ13aのロッド側油室の圧力を検出するロッド圧センサと、を含む。
検出装置122は、作業装置4の姿勢を検出する装置であって、複数の角度センサと、複数の角度センサからの信号に基づいて、ブーム角、アーム角、バケット角、及び車体傾斜角を演算し、演算結果を機械制御装置110に出力する。本実施形態では、ブーム角、アーム角、バケット角、及び車体傾斜角は、基準面(水平面)に対するブーム11、アーム12、バケット13、及び車体の角度である。なお、ブーム角が車体に対するブーム11の相対角度、アーム角がブーム11に対するアーム12の相対角度、バケット角がアーム12に対するバケット13の相対角度として表されることもある。
検出装置123は、旋回体3を走行体2に対して旋回させる旋回モータの圧力を検出するモータ圧センサを含む。検出装置124は、油圧ショベル101Aの所定位置の歪みを検出する複数の歪センサ(歪ゲージ)を含む。その他、図示しないが、油圧ショベル101Aは、油圧ショベル101Aの稼働に伴う複数の稼働情報を検出する複数の検出装置を備えている。
管理装置105は、管理サーバ150と、管理者の操作に応じて管理サーバ150に情報を入力する入力装置161と、油圧ショベル101Aと情報の授受を行う通信装置162と、管理サーバ150からの制御信号に基づいて画像を表示する表示装置165と、を備える。表示装置165は、例えば、液晶ディスプレイ装置あるいは有機ELディスプレイ装置である。表示装置165は、情報を画像で出力する出力装置である。
機械制御装置110及び管理サーバ150は、動作回路としてのCPU(Central Processing Unit)111,151、記憶装置としてのROM(Read Only Memory)112,152、記憶装置としてのRAM(Random Access Memory)113,153、入力インタフェース114,154、出力インタフェース115,155、及びその他の周辺回路を備えたコンピュータで構成される。なお、管理サーバ150及び機械制御装置110は、それぞれ1つのコンピュータで構成してもよいし、複数のコンピュータで構成してもよい。なお、上記コンピュータの構成は一例であり、CPU111,151に代えて、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(application specific integrated circuit)、FPGA(Field Programmable Gate Array)等の動作回路を採用してもよい。
ROM112,152は、EEPROM等の不揮発性メモリであり、各種演算が実行可能なプログラムが格納されている。すなわち、ROM112,152は、本実施形態の機能を実現するプログラムを読み取り可能な記憶媒体である。RAM113,153は揮発性メモリであり、CPU111,151との間で直接的にデータの入出力を行うワークメモリである。RAM113,153は、CPU111,151がプログラムを演算実行している間、必要なデータを一時的に記憶する。管理サーバ150及び機械制御装置110は、記憶装置としてのHDD(Hard Disk Drive)116,156をさらに備えている。HDD116,156は、不揮発性の大容量記憶装置であり、種々の情報(データ)を記憶する。なお、後述において、各種データをHDD116,156に記憶させる例について説明するが、HDD116,156に代えて、SSD(Solid State Drive)、フラッシュメモリ等の種々の記憶装置に各種データを記憶させることも可能である。
CPU111,151は、ROM112,152に記憶された制御プログラムをRAM113,153に展開して演算実行する演算装置であって、制御プログラムに従って入力インタフェース114,154及びROM112,152,RAM113,153、HDD115,156等から取り入れた情報(データ)に対して所定の演算処理を行う。入力インタフェース114,154には、各種装置からの信号が入力される。入力インタフェース114,154は、入力された信号をCPU111,151で演算可能なデータに変換する。出力インタフェース115,155は、CPU111,151での演算結果に応じた出力用の信号を生成し、その信号を各種装置に出力する。
図2は、本発明の第1実施形態に係る動作状態算出装置1の機能ブロック図である。管理サーバ150は、時系列で変化する油圧ショベル101Aの稼働に伴う複数の稼働情報を取得し、取得した油圧ショベル101Aの稼働情報に基づいて、油圧ショベル101Aの動作状態を算出し、その算出結果に基づいて表示装置165を制御する。
動作状態算出装置1は、時系列的に変化する油圧ショベル101Aの稼働に伴う複数の稼働情報を収集する収集装置1aと、収集された複数の稼働情報に基づいて油圧ショベル101Aの動作状態を算出する処理装置1bと、を備える。本実施形態では、油圧ショベル101Aに設けられる機械制御装置110が収集装置1aとして機能し、管理施設に設けられる管理サーバ150が処理装置1bとして機能する。本実施形態では、収集装置1aにより収集された稼働情報は通信回線109を介して処理装置1bに送信され、処理装置1bにより油圧ショベル101Aの動作状態を算出する処理が実行される。なお、動作状態の算出(動作状態の検出)は、後述する特徴ベクトルを演算することによって行われる。
処理装置1bは、複数の稼働情報を特徴量とする特徴ベクトルを演算し、分類モデル1hに基づいて、特徴ベクトルに分類IDを付与する分類処理を実行する。処理装置1bは、複数の稼働情報に基づいて、油圧ショベル101Aが受けたダメージを演算し、時刻と、演算された特徴ベクトルに付与された分類IDと、演算されたダメージと、を紐付けたダメージ動作データベース1uをHDD156に記憶する。
処理装置1bは、ダメージ動作データベース1uに含まれる時刻、分類ID及びダメージに基づいて、分類ID毎のダメージの統計量を代表値として演算する。処理装置1bは、分類IDに紐付けられている代表特徴ベクトルを構成する複数の特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する油圧ショベル101Aの動作状態を表す文(以下、注釈文とも記す)を生成する。処理装置1bは、注釈文と、注釈文の生成に用いた代表特徴ベクトルに紐付けられている分類IDに対して演算されたダメージの代表値と、を関連付けた動作情報を表示装置165に出力する。表示装置165は、処理装置1bから入力された動作情報を画像として出力する。
これにより、表示装置165に表示される画像を見た管理者は、油圧ショベル101Aの動作状態を表す注釈文と、ダメージの代表値との関係から、油圧ショベル101Aにダメージを与える動作状態を容易に知ることができる。以下、動作状態算出装置1の各機能について詳しく説明する。
-第1収集部及び第2収集部-
収集装置1aは、第1収集部1f及び第2収集部1gとしての機能を備える。第1収集部1fは、油圧ショベル101Aの動作状態(特徴ベクトル)を分類するために用いられる第1稼働情報を収集する。第2収集部1gは、油圧ショベル101Aが受けたダメージを演算するために用いられる第2稼働情報を収集する。第1稼働情報及び第2稼働情報は、検出装置121~124により検出されるセンサ情報、及び、油圧ショベル101Aの各部を制御するために機械制御装置110により生成される制御情報を含む。第1稼働情報と第2稼働情報とは、同じ種別の情報であってもよいし、異なる種別の情報であってもよい。
収集装置1aは、第1収集部1f及び第2収集部1gとしての機能を備える。第1収集部1fは、油圧ショベル101Aの動作状態(特徴ベクトル)を分類するために用いられる第1稼働情報を収集する。第2収集部1gは、油圧ショベル101Aが受けたダメージを演算するために用いられる第2稼働情報を収集する。第1稼働情報及び第2稼働情報は、検出装置121~124により検出されるセンサ情報、及び、油圧ショベル101Aの各部を制御するために機械制御装置110により生成される制御情報を含む。第1稼働情報と第2稼働情報とは、同じ種別の情報であってもよいし、異なる種別の情報であってもよい。
第1収集部1f及び第2収集部1gは、時系列的に変化するセンサ情報を、そのセンサ情報が検出された時刻と紐付けてHDD116に保存することにより、時刻毎の複数のセンサ情報を収集する。第1収集部1f及び第2収集部1gは、時系列的に変化する制御情報を、その制御情報が生成された時刻と紐付けてHDD116に保存することにより、時刻毎の複数の制御情報を収集する。
なお、本実施形態では、機械制御装置110が収集装置1aとして機能する例について説明しているが、機械制御装置110と収集装置1aとは個別に設けてもよい。収集装置1aが機械制御装置110とは別に設けられている場合、収集装置1aは、機械制御装置110及び収集装置1aを含む各種装置に接続されるCAN(Controller Area Network)等のネットワークに流れているセンサ情報及び制御情報を取得することによって、センサ情報及び制御情報を収集してもよい。
処理装置1bには、収集装置1aにより収集された第1稼働情報及び第2稼働情報が入力される。処理装置1bは、取得した第1稼働情報及び第2稼働情報に基づいて、以下で説明する各種処理を実行する。処理装置1bは、分類処理部1i、ダメージ演算処理部1j、紐付け処理部1k、統計処理部1m、注釈文生成部1n、及び、表示処理部1oとしての機能を備える。処理装置1bのHDD156は、分類モデル1h及びダメージ動作データベース1uを記憶する記憶部として機能する。
-分類処理部-
分類処理部1iは、時分割された複数種類の稼働情報を特徴量とする複数の特徴ベクトルを演算し、演算された特徴ベクトルを予め定められた複数のクラスタの何れかに分類する分類処理を実行する。分類処理において、分類処理部1iは、分類された特徴ベクトルに対して、特徴ベクトルが属するクラスタを識別する分類IDを付与する。以下、具体的に、分類処理部1iの処理内容について説明する。
分類処理部1iは、時分割された複数種類の稼働情報を特徴量とする複数の特徴ベクトルを演算し、演算された特徴ベクトルを予め定められた複数のクラスタの何れかに分類する分類処理を実行する。分類処理において、分類処理部1iは、分類された特徴ベクトルに対して、特徴ベクトルが属するクラスタを識別する分類IDを付与する。以下、具体的に、分類処理部1iの処理内容について説明する。
分類処理部1iは、複数の稼働情報を特徴量とする特徴ベクトルを複数の時刻毎に演算する。分類処理部1iは、HDD156に記憶されている分類モデル1hに基づいて、複数の時刻毎に演算された特徴ベクトルに分類IDを付与する。分類モデル1hは、複数のクラスタの代表特徴ベクトルと複数の分類IDとが紐付けられている。分類処理部1iは、演算された特徴ベクトルに対し、その特徴ベクトルに類似する代表特徴ベクトルに紐付けられた分類IDを付与する。
代表特徴ベクトルは、油圧ショベル101Aの動作状態を表す多次元のパラメータであり、油圧ショベル101Aの動作状態を表す類似した特徴ベクトルの部分集合(クラスタ)の代表値である。代表特徴ベクトルは、複数の特徴量で構成されるベクトルであり、代表特徴座標値として表すことも可能である。分類ID(i)は、代表特徴ベクトルを識別する識別番号である(i=1,2,3,…,j)。
特徴量には、検出装置121~124から出力されるセンサ情報そのものを採用してもよいし、検出装置121~124から出力されるセンサ情報に基づいて算出された情報を採用してもよい。また、特徴量には、機械制御装置110によって生成される制御情報そのものを採用してもよいし、制御情報に基づいて算出された情報を採用してもよい。さらに、特徴量には、センサ情報と制御情報の双方に基づいて算出された情報を採用してもよい。特徴量に採用される情報は、いずれも時系列的に変化する油圧ショベル101Aの稼働に伴う稼働情報である。なお、センサ情報及び制御情報に基づく稼働情報の算出処理は、分類処理部1iで行ってもよいし、第1収集部1fで行ってもよい。
例えば、特徴量には、ブーム角xi、アーム角yi、バケット角zi、ブームシリンダ力mi、アームシリンダ力ni、バケットシリンダ力kiなどの稼働情報を採用することができる。なお、各特徴量を表す記号(x,y,z,m,n,k)に付される「i」は、分類IDを示す番号である。
ブームシリンダ力miは、ブームシリンダ11aのボトム側油室の圧力とロッド側油室の圧力に基づいて算出されるシリンダ出力(シリンダ推力)である。アームシリンダ力niは、アームシリンダ12aのボトム側油室の圧力とロッド側油室の圧力に基づいて算出されるシリンダ出力(シリンダ推力)である。バケットシリンダ力kiは、バケットシリンダ13aのボトム側油室の圧力とロッド側油室の圧力に基づいて算出されるシリンダ出力(シリンダ推力)である。
代表特徴ベクトルの次元数は、任意に設定することができる。代表特徴ベクトルを構成する特徴量の数がn個であれば、n次元の代表特徴ベクトルとなる(図示する例では、n=6)。
分類モデル1hは、油圧ショベル101Aの動作試験データなどに基づき、k-means等の周知のクラスタリング手法によって予め生成されている。k-meansは、類似する特徴ベクトル同士を、予め設定された分割数に応じた数のクラスタにまとめ、各クラスタを識別する分類IDを付与する手法である。これにより、複数の特徴ベクトルは、設定された分割数によって分類され、分類された特徴ベクトルが属するクラスタの分類IDが付与される。代表特徴ベクトルは、同じクラスタに分類された複数の特徴ベクトル(特徴座標値)の重心座標値(クラスタセンタ)を表すベクトルであり、油圧ショベル101Aの代表的な動作状態を示している。
図3Aを参照して、分類モデルの生成方法の一例について説明する。なお、特徴量が6個で構成される6次元の特徴ベクトルは6次元空間で表現する必要があるが、図面では6次元空間を表現できない。このため、図3Aでは、6個の特徴量のうちの2個を選択して、特徴ベクトル4a及び代表特徴ベクトル4b,4c,4dの位置座標を2次元直交座標系で示している。また、図3Aでは、各時刻における特徴ベクトル4aを〇印で示し、代表特徴ベクトル(代表特徴座標値)4b,4c,4dを×印で示している。
クラスタリング手法は、これら特徴ベクトル(特徴座標値)4aに基づいて、近接する点群(特徴ベクトルを表す点の集まり)4f,4g,4hを予め決められた分割数になるように分割(分類)する手法である。この手法によれば、分割された点群4f,4g,4hの代表特徴座標値(代表特徴ベクトル)4b,4c,4dとそれを識別するための分類IDが出力される。
図示する例では、点群4fに基づいて、代表特徴ベクトル(x1,y1,z1,m1,n1,k1)が決定され、分類IDが1として割り振られている。同様に、点群4gに基づいて、代表特徴ベクトル(x2,y2,z2,m2,n2,k2)が決定され、分類IDが2として割り振られている。同様に、点群4hに基づいて、代表特徴ベクトル(x3,y3,z3,m3,n3,k3)が決定され、分類IDが3として割り振られている。なお、代表特徴ベクトルは、重心座標値とする場合に限定されない。代表特徴ベクトルは、平均値等のさまざまな代表特徴座標値表現が可能である。
以上のようにして生成された分類モデル(時分割状態分離モデルとも記す)1hには、学習フェーズにおける油圧ショベル101Aの様々な動作状態(例えば、掘削動作、放土動作等の各種動作における特徴的な姿勢及びセンサ情報、制御情報等)を表す代表特徴ベクトル(代表特徴座標値)が分類IDとともに格納されることになる。
図3Bを参照して、分類処理部1iによる分類処理の具体例について説明する。なお、特徴量が6個で構成される6次元の特徴ベクトルは6次元空間で表現する必要があるが、図面では6次元空間を表現できない。このため、図3Bでは、図3Aと同様、6個の特徴量のうちの2個を選択して、特徴ベクトル4e及び代表特徴ベクトル4b,4c,4dの位置座標を2次元直交座標系で模式的に示している。
分類処理部1iは、第1収集部1fから取得した複数の第1稼働情報に基づいて、特徴ベクトル(特徴座標値)4eを演算する。分類処理部1iは、分類モデル1hの中から演算した特徴ベクトル(特徴座標値)4eに最も近い代表特徴ベクトル(代表特徴座標値)4dを探索する。分類処理部1iは、探索された代表特徴ベクトル4dの分類ID(3)を演算した特徴ベクトル4eに割り当てる。つまり、分類処理部1iは、特徴ベクトル4eを分類ID(3)に分類する。分類処理部1iは、複数の時刻毎に演算された代表特徴ベクトルに対して分類IDを決定し、分類ID時系列テーブル5a(図5参照)を生成し、HDD156に記憶する。
-ダメージ演算処理部-
図2に示すダメージ演算処理部1jは、油圧ショベル101Aが受けたダメージの演算処理を実行する。ダメージ演算処理部1jは、第2収集部1gから取得した複数の第2稼働情報に基づいて、油圧ショベル101Aが受けたダメージを複数の時刻毎に演算する。また、ダメージ演算処理部1jは、油圧ショベル101Aが受けたダメージの大きな時間軸上の区間(期間)を検出する。ダメージ演算処理部1jが対象としているダメージとは、例えば、ブーム11、アーム12等の構造体の所定の部位、及び、油圧シリンダ、油圧モータ等の油圧アクチュエータ等が受ける応力疲労損傷によるダメージである。
図2に示すダメージ演算処理部1jは、油圧ショベル101Aが受けたダメージの演算処理を実行する。ダメージ演算処理部1jは、第2収集部1gから取得した複数の第2稼働情報に基づいて、油圧ショベル101Aが受けたダメージを複数の時刻毎に演算する。また、ダメージ演算処理部1jは、油圧ショベル101Aが受けたダメージの大きな時間軸上の区間(期間)を検出する。ダメージ演算処理部1jが対象としているダメージとは、例えば、ブーム11、アーム12等の構造体の所定の部位、及び、油圧シリンダ、油圧モータ等の油圧アクチュエータ等が受ける応力疲労損傷によるダメージである。
ダメージ演算処理の一例として、特許文献1に記載されている手法がある。この手法は、ダンプトラック101Bに取り付けられた歪ゲージ(検出装置)よって計測された応力値を用いて、繰り返し応力の開始時刻と終了時刻を検出する手法である。
図4を参照して、ダメージ演算処理部1jによるダメージ演算処理の一例について説明する。図4は、応力、応力振幅及び疲労損傷速度の時系列変化を示す。なお、ここでは、作業機械101がダンプトラック101Bである場合を例に説明する。ダンプトラック101Bには、歪みを検出する検出装置124が取り付けられている。図4の応力グラフ(3a)の縦軸は応力を示し、応力振幅グラフ(3b)の縦軸は応力振幅を示し、疲労損傷速度グラフ(3c)の縦軸は疲労損傷速度を示している。応力グラフ(3a)、応力振幅グラフ(3b)及び疲労損傷速度グラフ(3c)の横軸は共通であり、時刻を示している。
図4に示す応力波形3hは、検出装置124の検出結果をグラフ化したものである。疲労損傷は、応力の絶対値ではなく繰り返し応力の振幅の大きさに依存する。応力波形3hは、応力の絶対値を示したものであり、そのままではどこで大きな疲労損傷を受けたのかは分からない。そこで、ダメージ演算処理部1jは、この応力波形3hから繰り返し応力の振幅及び応力の波長の検出を行い、大きな疲労損傷を受けた区間の検出を行う。この手法は、応力サイクルカウント法の一種であるレインフロー法を改良して応力の波長を検出する手法である。応力振幅3i,3jは、応力波形3hから、この手法を用いて検出した繰り返し応力の振幅及び応力の波長を検出したものである。応力振幅3i,3jは矩形状であり、縦幅が検出された繰り返し応力の振幅を示し、横幅が検出された繰り返し応力の波長を示している。矩形状の応力振幅3i,3jの底辺の左側の頂点に対応する時刻は、繰り返し応力の開始時刻を示している。矩形状の応力振幅3i,3jの底辺の右側の頂点に対応する時刻は、繰り返し応力の終了時刻を示している。
ダンプトラック101Bへの土砂の運搬作業は、ダンプトラック101Bが空荷状態で移動する空荷移動工程(3d)、停車したダンプトラック101Bに対して、油圧ショベル101Aによって土砂が複数回に分けて積み込まれる積込工程(3e)、ダンプトラック101Bが積載状態で移動する積載移動工程(3f)、積載した土砂を排出する排土を行う排土工程(3g)の順で行われる。
応力振幅3iは、積込工程(3e)において、ダンプトラック101Bが受ける繰り返し応力の振幅及び波長を示している。応力振幅3jは、排土工程(3g)において、ダンプトラック101Bが受ける繰り返し応力の振幅及び波長を示している。この手法により、ダメージ演算処理部1jは、油圧ショベル101Aが受けたダメージの大きさ(繰り返し応力の振幅の大きさ)と、油圧ショベル101Aがダメージを受けた区間(繰り返し応力の振幅の開始時刻から終了時刻までの期間)とを検出することができる。
疲労損傷速度は、油圧ショベル101Aが単位時間当たりに受ける疲労損傷である。ダメージ演算処理部1jは、応力振幅グラフ(3b)に示す繰り返し応力の振幅及び波長に基づいて疲労損傷速度を演算する。つまり、ダメージ演算処理部1jは、疲労損傷速度をダンプトラック101Bが受けるダメージとして演算する。ダメージ演算処理部1jは、複数の時刻毎に演算されたダメージ(疲労損傷速度)時系列テーブル5b(図5参照)を生成し、HDD156に記憶する。なお、ダメージ演算処理の手法について、ダンプトラック101Bを例に説明したが、油圧ショベル101A及び作業ロボット101Cにおいても同じ手法を用いることができる。また、ダメージ演算処理の手法は、この手法に限定されない。
-紐付け処理部-
図2に示す紐付け処理部1kは、ダメージ演算処理部1jの処理結果と、分類処理部1iの処理結果とを紐付ける紐付処理を実行する。紐付け処理部1kは、分類処理部1iにより特徴ベクトルに付与された分類IDと、ダメージ演算処理部1jにより演算されたダメージ(疲労損傷速度)と、特徴ベクトル及びダメージの演算に用いた稼働情報を検出した時刻と、を紐付けたダメージ動作データベース1uを生成し、HDD156に記憶する。
図2に示す紐付け処理部1kは、ダメージ演算処理部1jの処理結果と、分類処理部1iの処理結果とを紐付ける紐付処理を実行する。紐付け処理部1kは、分類処理部1iにより特徴ベクトルに付与された分類IDと、ダメージ演算処理部1jにより演算されたダメージ(疲労損傷速度)と、特徴ベクトル及びダメージの演算に用いた稼働情報を検出した時刻と、を紐付けたダメージ動作データベース1uを生成し、HDD156に記憶する。
図5を参照して、紐付け処理部1kによる紐付け処理の一例について説明する。上述したように、図5には、分類処理部1iの分類処理により生成された分類ID時系列テーブル5aと、ダメージ演算処理部1jのダメージ演算処理により生成されたダメージ時系列テーブル5bが示されている。分類ID時系列テーブル5aの横軸は時間を示し、縦軸は分類IDを示している。分類ID時系列テーブル5aでは、時系列に分類された分類IDが黒い点で示されている。図5に示す例では、分類モデル1hのクラスタの分割数が2500であり、2500個の分類IDが存在している。
ダメージ時系列テーブル5bの横軸は時間を示し、分類ID時系列テーブル5aの時間軸と同期が取られている。ダメージ時系列テーブル5bの縦軸は、油圧ショベル101Aのブームシリンダ力による疲労損傷速度(ダメージ)を表している。図5に示す疲労損傷速度は、ブームシリンダ力によりシリンダピンなどのブームシリンダ11aに関連する部品に作用する応力に基づいて演算される。
紐付け処理部1kは、分類ID時系列テーブル5aと、ダメージ時系列テーブル5bとに基づいて、時刻、分類ID及び疲労損傷速度を紐付けたダメージ動作データベース1uを生成し、HDD156に記憶する。紐付け処理部1kは、例えば、破線で示す時刻「513.5」secにおける分類ID「652」(点5c参照)と疲労損傷速度「0.0348」(点5d参照)とを対応付けて記憶する。紐付け処理部1kは、HDD156に格納されている全ての計測時刻における分類IDと疲労損傷速度を時系列で対応付けて記憶する。計測時刻は、収集装置1aが、100msec~1sec程度の制御周期で稼働情報を取得した時刻である。
なお、ブームシリンダ力に基づいて演算された疲労損傷速度をダメージの一例として説明したが、他の油圧シリンダ力(アームシリンダ力、バケットシリンダ力)に基づいて演算された疲労損傷速度と分類IDとを紐付けてもよい。また、検出装置(歪ゲージ)124の検出結果に基づいて演算された疲労損傷速度と分類IDとを紐付けてもよいし、疲労損傷速度以外のダメージの指標となるような物理量と分類IDとを紐付けてもよい。
-統計処理部-
図2に示す統計処理部1mは、ダメージ動作データベース1uに含まれる時刻、分類ID、及びダメージに基づいて、分類ID毎のダメージの統計処理を実行する。統計処理部1mは、統計処理において、分類ID毎に、ダメージの平均値、最大値、最頻度、中央値、累積値などの統計量を代表値として演算する。
図2に示す統計処理部1mは、ダメージ動作データベース1uに含まれる時刻、分類ID、及びダメージに基づいて、分類ID毎のダメージの統計処理を実行する。統計処理部1mは、統計処理において、分類ID毎に、ダメージの平均値、最大値、最頻度、中央値、累積値などの統計量を代表値として演算する。
図6を参照して、統計処理部1mによるダメージの統計処理の一例について説明する。図6は、分類ID、疲労損傷速度、及び、所定区間における疲労損傷速度の累積値(以下、累積損傷とも記す)の時系列変化の一例について示す図である。図6(a)は、分類IDの時系列変化を示し、図6(b)は疲労損傷速度の時系列変化を示し、図6(c)は分類IDが(5)の区間における疲労損傷速度の累積値を示している。図6に示すように、分類ID及びダメージ(ここでは疲労損傷速度)は時々刻々と変化する。
図6(a)に示すように、図示する例では、時間の経過に伴い、分類IDが(3)から(5)へ変化し、その後(2)に変化している。図6(b)に示すように、分類IDが(5)の区間の疲労損傷速度は、分類IDが(3)の区間及び分類IDが(2)の区間に比べて大きい。また、図6(b)に示すように、同じ分類IDの区間であっても疲労損傷速度は時間の経過に伴って変化している。本実施形態では、大きなダメージが発生したときの油圧ショベル101Aの動作状態(特徴ベクトル)を算出することを目的の一つとしている。油圧ショベル101Aの動作状態は、分類IDに対応している。
統計処理部1mは、同じ分類IDの区間を切り出し、同じ分類IDの区間内に発生したダメージの平均値、最大値、最頻度、中央値、累積値などの統計量を代表値として演算する。例えば、同じ分類IDの区間の疲労損傷速度の最大値を統計量として演算する場合、図6(b)に示すように、鋭いピークで発生するダメージの最大値6cを感度よく検出することができる。また、統計処理部1mは、図6(c)に示すように、同じ分類IDの区間の疲労損傷速度の累積値(累積損傷)を統計量として演算してもよい。
なお、同じ分類IDが、複数の区間で設定されることがある。例えば、分類ID(5)が、図6に示す区間(時間帯)以外に設定されることがある。統計処理部1mは、複数の区間(時間帯)において、同じ分類IDが設定された場合には、それぞれの区間でダメージの統計量を演算してもよいし、それぞれの区間を一つの区間とみなしてダメージの統計量を演算してもよい。以下、ダメージの統計量(代表値)を、ダメージ量とも記す。
統計処理部1mは、ダメージ量が代表閾値以上であるか否かを判定する。統計処理部1mは、ダメージ量が代表閾値未満であると判定された場合には、そのダメージ量が演算された区間(時間帯)の分類IDを注釈文生成処理の対象から省く。統計処理部1mは、ダメージ量が代表閾値以上であると判定された場合には、そのダメージ量が演算された区間(時間帯)の分類IDを注釈文生成処理の対象として抽出する。代表閾値は、油圧ショベル101Aを構成する装置や部品の生涯寿命(装置や部品のリプレースまでの使用時間)に影響を与えるダメージ量であるか否かを判定するための閾値であり、予めROM152に記憶されている。なお、代表閾値は、寿命曲線(S-N線図)などを利用して設定してもよいし、実験等により、油圧ショベル101Aの状況を目視し、手動で設定してもよい。
上述したように、本実施形態では、分類IDが2500個存在する(図5参照)。しかしながら、分類IDのほとんどは、油圧ショベル101Aを構成する装置や部品の生涯寿命に影響を与えない動作に対応する分類IDである。このため、このような分類IDを次に説明する注釈文生成処理の対象とすることは、演算処理の負荷の観点から好ましくない。さらに、注釈文が多数生成されてしまうと、類似する注釈文が生成されることになり、大きなダメージが発生する動作状態についての判別が難しくなってしまうおそれがある。また、2500個の分類IDのそれぞれに重複しないユニークな注釈文の生成が必要になるため、注釈文が長文になってしまうおそれがある。
このため、統計処理部1mは、ダメージ量が代表閾値以上となる分類IDを抽出し、ダメージ量が代表閾値未満となる分類IDを注釈文生成処理の対象から省く。これにより、処理装置1bの演算処理の負荷を低減することができるとともに、注釈文が長文になってしまうことを防止できる。
図7は、分類IDとダメージ量との関係を示すグラフである。縦軸は、ダメージ量の一例として、同じ分類IDの区間におけるダメージの最大値を示している。横軸は、分類IDをダメージ量の大きい順に並べて示している。図示する例では、ダメージ量が大きな上位10個の分類IDを抽出して示している。図示する例では、分類ID(20)のダメージ量が一番大きい。
ここで、図7に示すようなグラフを表示装置165に表示させた場合、管理者は、ダメージ量の大きな分類IDを知ることができる。しかしながら、図7に示すようなグラフを表示装置165に表示させるだけでは、管理者は、油圧ショベル101Aがどのような動作状態であるときに大きなダメージが発生するのかを知ることができない。また、図5に示すような分類ID時系列テーブル5a及びダメージ時系列テーブル5bを表示装置165に表示させた場合、管理者は、分類ID及びダメージの時系列変化と、ダメージの大きい区間の分類IDを確認することができる。しかしながら、分類ID時系列テーブル5a及びダメージ時系列テーブル5bを表示装置165に表示させるだけでは、管理者は、油圧ショベル101Aがどのような動作状態であるときに大きなダメージが発生するのかを知ることができない。
そこで、本実施形態に係る処理装置1bは、分類IDに対して、油圧ショベル101Aの動作状態を説明する注釈文を生成する。
-注釈文生成部-
図2に示す注釈文生成部1nは、抽出された複数の分類IDを複数のグループに分類し、同じグループに分類された複数の分類IDに紐付けられている代表特徴ベクトル同士の差分に基づいて、注釈文の生成に用いる特徴量を特定し、特定した特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する。
図2に示す注釈文生成部1nは、抽出された複数の分類IDを複数のグループに分類し、同じグループに分類された複数の分類IDに紐付けられている代表特徴ベクトル同士の差分に基づいて、注釈文の生成に用いる特徴量を特定し、特定した特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する。
図8を参照して、注釈文生成部1nにより実行される処理の流れの一例について説明する。図8は、注釈文生成部により実行される処理の流れの一例について示すフローチャートである。図8に示すように、ステップS100において、注釈文生成部1nは、統計処理部1mの処理結果、及び、分類モデル1hを取得し、ステップS105へ進む。
ステップS105において、注釈文生成部1nは、階層的クラスタリング処理を実行する。階層的クラスタリング処理において、注釈文生成部1nは、複数の分類IDを代表特徴ベクトルに基づいて階層構造の複数のグループに分類する。
図9を参照して、階層的クラスタリング処理について詳しく説明する。階層的クラスタリング処理は、階層構造的な分類処理の一つとして知られている。図9に示すように、注釈文生成部1nは、統計処理部1mにより抽出された分類IDを階層構造的に分類する。
図9(a)の〇印と数字で表される分類ID(5)、分類ID(6)、分類ID(7)、分類ID(20)、分類ID(28)及び分類ID(38)は、統計処理部1mにより抽出された分類IDの代表特徴ベクトルの位置座標(代表特徴座標値)を示している。なお、図9(a)では、図3A及び図3Bと同様、複数の特徴量のうちの2個を選択して、代表特徴ベクトルの位置座標を2次元直交座標系で模式的に示している。
図9(a)に示すように、注釈文生成部1nは、統計処理部1mによって抽出されたダメージ量の大きな分類IDに対する代表特徴ベクトルを分類モデル1hから読み出す。注釈文生成部1nは、分類ID同士の距離(代表特徴座標値間の距離)Lに基づいて、複数の分類IDを複数のグループに分類する。
注釈文生成部1nは、距離が最も近い分類ID同士を1つずつ順番にグルーピングする。図9(a)に示す例では、注釈文生成部1nは、分類ID(20)と、分類ID(20)に最も近い分類ID(28)を同じ下位グループ(A)に分類する。また、注釈文生成部1nは、分類ID(20)と分類ID(28)の距離Lなどを下位グループ(A)の属性として記憶する。また、同様に、注釈文生成部1nは、分類ID(5)と、分類ID(5)に最も近い分類ID(38)を同じ下位グループ(B)に分類し、分類ID(6)と分類ID(6)に最も近い分類ID(7)を同じ下位グループ(C)に分類する。
注釈文生成部1nは、複数の下位グループ間の距離Lに基づいて、複数の下位グループを複数の中位グループに分類する。中位グループとは、下位グループよりも階層が上位のグループである。下位グループの代表特徴座標値は、例えば、その下位グループを構成する2つの分類IDの代表特徴座標値の重心座標値であり、下位グループの代表特徴ベクトルとして表すこともできる。
なお、注釈文生成部1nは、下位グループに分類されていない分類IDが存在する場合、その分類IDと下位グループとの間の距離Lに基づいて、下位グループに分類されていない分類ID及び下位グループを同じ中位グループに分類するか否かを決定する。
図9(a)に示す例では、注釈文生成部1nは、下位グループ(A)と、下位グループ(A)に最も近い下位グループ(B)を同じ中位グループ(D)に分類する。また、注釈文生成部1nは、下位グループ(A)と下位グループ(B)の距離Lなどを中位グループ(D)の属性として記憶する。
注釈文生成部1nは、複数の中位グループ間の距離Lに基づいて、複数の中位グループを複数の上位グループに分類する。上位グループとは、中位グループよりも階層が上位のグループである。中位グループの代表特徴座標値は、例えば、その中位グループを構成する2つの下位グループの代表特徴座標値の重心座標値であり、中位グループの代表特徴ベクトルとして表すこともできる。
なお、注釈文生成部1nは、下位グループ及び中位グループに分類されていない分類IDあるいは中位グループに分類されていない下位グループが存在する場合、そのような分類IDあるいは下位グループと中位グループとの間の距離Lに基づいて、それらを同じ上位グループに分類するか否かを決定する。
図9(a)に示す例では、注釈文生成部1nは、中位グループ(D)と、中位グループ(D)に最も近い下位グループ(C)を同じ上位グループ(E)に分類する。また、注釈文生成部1nは、中位グループ(D)と下位グループ(C)の距離Lなどを上位グループ(E)の属性として記憶する。
図9(b)は、注釈文生成部1nによる階層的クラスタリング処理の結果を樹形図で示した図である。樹形図の縦方向は、距離L(例えば、同じ下位グループに属する2つの分類ID間の距離L)を表し、末端は「葉」である。本実施形態では、統計処理部1mにより抽出された分類IDが「葉」となっている。図示する例では、分類ID(28)と分類ID(20)がまとめられて下位グループ(A)が生成され、分類ID(38)と分類ID(5)がまとめられて下位グループ(B)が生成され、分類ID(6)と分類ID(7)がまとめられて下位グループ(C)が生成され、下位グループ(A)と下位グループ(B)がまとめられて中位グループ(D)が生成され、中位グループ(D)と下位グループ(C)がまとめられて上位グループ(E)が生成されている。
このように、注釈文生成部1nは、階層的クラスタリング処理(ステップS105)において、複数の分類IDを代表特徴ベクトルに基づいて階層構造の複数のグループに分類する。図8に示すように、階層的クラスタリング処理(ステップS105)が完了すると、処理がステップS110へ進む。
ステップS110において、注釈文生成部1nは、階層的クラスタリング処理の結果に基づいて、枝分かれ要因の特定処理を実行する。同じグループ間での枝分かれ要因となった特徴量は、グループの属性として記憶されている距離L(例えば、ある下位グループに属する2つの分類ID間の距離L)により特定することができる。グループの属性として記憶されている距離Lは、そのグループに属する分類IDあるいはグループの代表特徴ベクトル同士の差分に基づいて演算される。
注釈文生成部1nは、同じグループ内の分類IDあるいはグループの2つの代表特徴ベクトル同士の差分、すなわち特徴量(要素)の違いに基づいて、枝分かれ要因の特定を行う。具体的には、注釈文生成部1nは、同じ上位グループに分類された2つの中位グループ(あるいは中位グループと下位グループ、あるいは中位グループと分類ID)の代表特徴ベクトル同士の差分に基づいて、第1階層の枝分かれ要因としての特徴量Caを特定する。また、注釈文生成部1nは、同じ中位グループに分類された2つの下位グループ(あるいは下位グループと分類ID)の代表特徴ベクトル同士の差分に基づいて、第2階層の枝分かれ要因としての特徴量Cbを特定する。さらに、注釈文生成部1nは、同じ下位グループに属する2つの分類IDの代表特徴ベクトル同士の差分に基づいて、第3階層の枝分かれ要因としての特徴量Ccを特定する。
ステップS110において、枝分かれ要因となった特徴量の特定が完了すると、処理がステップS115へ進む。ステップS115において、注釈文生成部1nは、ステップS110で特定された枝分かれ要因としての特徴量Ca,Cb,Ccの大きさに対応する語句を選択する。
図10を参照して、特定された特徴量の大きさに対応する語句の選択処理(枝分かれ要因の語句の選択処理)の一例について説明する。図10に示す例では、代表特徴ベクトルを構成する特徴量のうち、アーム角が分類ID(28)と分類ID(20)とで異なっているため、アーム角が特徴量Ccとして特定されている。なお、分類ID(28)と分類ID(20)の代表特徴ベクトルを構成するアーム角以外の特徴量の差は、アーム角の差に比べて小さい。
HDD156には、特徴量であるアーム角に応じた語句が記憶されている。例えば、アーム角が第1角度範囲内である場合に選択される語句「アーム角鉛直」、アーム角が第2角度範囲内である場合に選択される語句「アーム角Max」、アーム角が第3角度範囲内である場合に選択される語句「アーム角Min」等が、HDD156に記憶されている。なお、第1角度範囲、第2角度範囲及び第3角度範囲は、それぞれ重複しない角度範囲である。
図示する例では、ステップS110において、下位グループ(A)に属する分類ID(28)と分類ID(20)の枝分かれ要因(特徴量Cc)がアーム角であることが特定されている。したがって、注釈文生成部1nは、ステップS115において、分類ID(28)の代表特徴ベクトルを構成する特徴量Ccであるアーム角の大きさに対応する語句、及び、分類ID(20)の代表特徴ベクトルを構成する特徴量Ccであるアーム角の大きさに対応する語句をHDD156から選択する。分類ID(28)の代表特徴ベクトルを構成するアーム角は第1角度範囲内であるため、注釈文生成部1nは、語句「アーム角鉛直」を選択する。分類ID(20)の代表特徴ベクトルを構成するアーム角は第2角度範囲内であるため、注釈文生成部1nは、語句「アーム角Max」を選択する。
また、図示する例では、ステップS110において、中位グループ(D)に属する下位グループ(A)と下位グループ(B)の枝分かれ要因(特徴量Cb)が旋回力の正負(符号)であることが特定されている。なお、旋回力は、旋回モータの圧力に基づいて演算される特徴量(稼働情報)である。
HDD156には、特徴量である旋回力の符号に応じた語句が記憶されている。例えば、旋回力が正の値である場合に選択される語句「左」、及び、旋回力が負の値である場合に選択される語句「右」等が、HDD156に記憶されている。なお、旋回力は、左方向へ旋回体3を旋回させる力が正の値で表され、右方向へ旋回体を旋回させる力が負の値で表される。
注釈文生成部1nは、ステップS115において、下位グループ(A)の代表特徴ベクトルを構成する特徴量Cbである旋回力の大きさに対応する語句、及び、下位グループ(B)の代表特徴ベクトルを構成する特徴量Cbである旋回力の大きさに対応する語句をHDD156から選択する。
下位グループ(A)の代表特徴ベクトルを構成する旋回力は正の値(0よりも大きい値)であるため、注釈文生成部1nは、語句「左」を選択する。下位グループ(B)の代表特徴ベクトルを構成する旋回力は負の値(0よりも小さい値)であるため、注釈文生成部1nは、語句「右」を選択する。
図示する例では、ステップS110において、上位グループ(E)に属する中位グループ(D)と下位グループ(C)(図9参照)の枝分かれ要因(特徴量Ca)が旋回力の絶対値であることが特定されている。
HDD156には、特徴量である旋回力の絶対値に応じた語句が記憶されている。例えば、旋回力の絶対値が横あて閾値以上である場合に選択される語句「横あて」、及び、旋回力が横あて閾値未満である場合に選択される語句「旋回」等が、HDD156に記憶されている。
ここで、「横あて」とは、油圧ショベル101Aの旋回体3を動作させて、作業装置4の側部を石や壁など接触させて押す動作であり、「旋回」とは、油圧ショベル101Aの旋回体3を走行体2に対して回転させる動作である。
注釈文生成部1nは、ステップS115において、中位グループ(D)の代表特徴ベクトルを構成する特徴量Caである旋回力の絶対値の大きさに対応する語句、及び、下位グループ(C)の代表特徴ベクトルを構成する特徴量Caである旋回力の絶対値の大きさに対応する語句をHDD156から選択する。中位グループ(D)の代表特徴ベクトルを構成する旋回力の絶対値は横あて閾値以上であるため、注釈文生成部1nは、語句「横あて」を選択する。下位グループ(C)の代表特徴ベクトルを構成する旋回力の絶対値は横あて閾値未満であるため、注釈文生成部1nは、語句「旋回」を選択する。
図8に示すように、ステップS115において、枝分かれ要因の語句の選択処理が完了すると、処理がステップS120へ進む。ステップS120において、注釈文生成部1nは、分類ID(樹形図の葉に相当する部分)毎に、ステップS115において選択された語句を繋ぐことにより、油圧ショベル101Aの動作状態を表す注釈文を生成する。
注釈文は、各枝分かれ要因の語句(言語表現)の組み合わせにより生成される。図10に示す例では、上位グループ(E)、中位グループ(D)及び下位グループ(A)に属する分類ID(28)の注釈文は、上位グループ(E)内での枝分かれ要因に基づいて選択された語句「横あて」と、中位グループ(D)内での枝分かれ要因に基づいて選択された語句「左」、下位グループ(A)内での枝分かれ要因に基づいて選択された語句「アーム角鉛直」が繋ぎ合わされた「左横あてアーム角鉛直」となる。なお、語句を繋ぎ合わせる順番は、入力装置161を用いて任意に設定することができる。したがって、例えば、注釈文が「アーム角鉛直左横あて」となるように、語句を繋ぎ合わせることもできる。
図8に示すように、ステップS120において、注釈文の生成処理が完了すると、図8のフローチャートに示す処理が完了し、図2に示す表示処理部1oによる表示処理が実行される。表示処理部1oは、注釈文の生成処理により生成された注釈文と、注釈文の生成に用いた代表特徴ベクトルに紐付けられている分類IDに対して演算されたダメージ量と、を関連付けた動作情報(表示画像)を表示装置165に出力する。表示装置165は、処理装置1bから入力された動作情報(表示画像)を表示画面165aに表示させる。
注釈文とダメージ量とを関連付けた表示画像の表示態様は、種々の態様を採用することができる。図11は、注釈文とダメージ量とを関連付けた表示画像の一例であり、棒グラフを示す。図11に示すように、表示処理部1oは、表示装置165の表示画面165aに、左側から右側に向かって、ダメージ量の大きい順に分類IDを並べた棒グラフを表示させてもよい。横軸には、分類IDと、分類IDに対応する注釈文が表示されている。縦軸は、分類IDに対応するダメージ量を表している。図11の棒グラフは、図7の棒グラフに注釈文が付与されたものである。
上述したように、図7に示す棒グラフが表示装置165に表示されただけでは、管理者は、油圧ショベル101Aがどのような動作状態のときに大きなダメージを受けるのかを知ることができない。これに対して、本実施形態では、図11に示すように、動作状態を説明する注釈文が付加された棒グラフが表示装置165に表示されるため、管理者は、油圧ショベル101Aがどのような動作状態のときに大きなダメージを受けたのかを容易に知ることができる。
表示処理部1oは、注釈文を構成する語句を階層的に表示装置165に表示させてもよい。例えば、表示処理部1oは、図10に示すような樹形図を表示装置165に表示させてもよい。樹形図による表示表現では、類似した動作の把握が可能になる。なお、図10に示す樹形図ではダメージ量の表現ができていない。そこで、表示処理部1oは、ダメージの代表値の大きさに応じて、樹形図における葉に接続される枝の部分の表示態様を変えることが好ましい。例えば、表示処理部1oは、図12に示すように、分類ID(葉)に接続される枝の部分を、ダメージ量が大きいほど、太く表示させてもよい。この場合、表示処理部1oは、線の太さとダメージ量の大きさの関係を示す画像166aを樹形図とともに表示させる。これにより、管理者は、注釈文によって表現される油圧ショベル101Aの動作状態とダメージ量との関係を容易に知ることができる。
また、図13に示すように、分類ID(葉)に接続される枝の部分の線種をダメージ量に応じて異なるようにしてもよい。この場合、表示処理部1oは、線種とダメージ量の大きさの関係を示す画像166bを樹形図とともに表示させる。これにより、管理者は、注釈文によって表現される油圧ショベル101Aの動作状態とダメージ量との関係を容易に知ることができる。なお、ダメージ量に応じて枝の部分の線種を変えることに代えて、ダメージ量に応じて枝の部分の色を変えてもよい。
上述した実施形態によれば、次の作用効果を奏する。
(1)作業機械の動作状態算出装置1は、時系列的に変化する油圧ショベル(作業機械)101Aの稼働に伴う複数の稼働情報に基づいて油圧ショベル101Aの動作状態を算出する処理装置1bと、処理装置1bにより算出された油圧ショベル101Aの動作状態を表す動作情報(画像)を出力する出力装置としての表示装置165と、を備えている。処理装置1bは、複数の稼働情報を特徴量とする特徴ベクトルを複数の時刻毎に演算する。処理装置1bは、油圧ショベル101Aの動作状態を表す特徴ベクトルのクラスタの代表値である代表特徴ベクトルと分類IDとが紐付けられた分類モデル1hに基づいて、複数の時刻毎に演算された特徴ベクトルに分類IDを付与する。処理装置1bは、複数の稼働情報に基づいて、油圧ショベル101Aが受けたダメージを複数の時刻毎に演算する。処理装置1bは、時刻と、演算された特徴ベクトルに付与された分類IDと、演算されたダメージと、を紐付けたダメージ動作データベース1uを記憶する。処理装置1bは、ダメージ動作データベース1uに含まれる時刻、分類ID、及びダメージに基づいて、分類ID毎のダメージの代表値(統計量)を演算する。処理装置1bは、分類IDに紐付けられている代表特徴ベクトルを構成する複数の特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文(文)を生成する。処理装置1bは、油圧ショベル101Aの動作状態を表す注釈文と、その注釈文の生成に用いた代表特徴ベクトルに紐付けられている分類IDに対して演算されたダメージの代表値と、を関連付けた動作情報(画像)を表示装置165に出力する。表示装置165は、処理装置1bから入力された動作情報(画像)を出力する。
この構成によれば、表示装置165に、ダメージの代表値と、油圧ショベル101Aの動作状態を表す注釈文とが関連付けられた表示画像が表示されるため、表示装置165を見た者(管理者等)は、油圧ショベル101Aにダメージを与える動作状態を容易に知ることができる。つまり、本実施形態によれば、油圧ショベル101Aにダメージを与える動作状態を容易に知ることのできる作業機械の動作状態算出装置1を提供することができる。
(2)処理装置1bは、複数の分類IDを複数のグループに分類し、同じグループに分類された複数の分類IDに紐付けられている代表特徴ベクトル同士の違いに基づいて、注釈文の生成に用いる特徴量を特定する。処理装置1bは、特定した特徴量の大きさに対応する語句を繋ぐことにより、分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する。
本実施形態に係る処理装置1bは、複数の分類IDをその代表特徴ベクトルに基づいて階層構造の複数のグループに分類する。処理装置1bは、同じ下位グループに属する複数の分類IDに紐付けられている代表特徴ベクトルに基づいて、下位グループの代表特徴ベクトルを演算し、同じ中位グループに属する複数の下位グループの代表特徴ベクトルに基づいて、中位グループの代表特徴ベクトルを演算する。処理装置1bは、同じ上位グループに属する複数の中位グループの代表特徴ベクトル同士の差分に基づいて、特徴量Caを特定する。処理装置1bは、同じ中位グループに属する複数の下位グループの代表特徴ベクトル同士の差分に基づいて、特徴量Cbを特定する。処理装置1bは、同じ下位グループに属する複数の分類IDに紐付けられている代表特徴ベクトル同士の差分に基づいて、特徴量Ccを特定する。処理装置1bは、特定した特徴量Caの大きさに対応する語句と、特定した特徴量Cbの大きさに対応する語句と、特定した特徴量Ccの大きさに対応する語句と、を繋ぎ合わせることにより、分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する。
このように、処理装置1bは、分類IDを代表特徴ベクトルに基づいて複数のグループに階層構造的に分類し、階層構造的な分類に用いた代表特徴ベクトルを構成する特徴量の大きさに対応する語句を繋ぐことにより注釈文を生成する。つまり、本実施形態では、階層構造的な分類処理の結果を反映した注釈文を生成することができ、樹形図(図12、図13参照)のような階層構造的な表示画像を表示装置165に表示させることができる。
(3)処理装置1bは、注釈文を構成する語句を階層的に表示装置165に表示させる。処理装置1bは、例えば、分類IDが葉となる樹形図(図12、図13参照)を表示装置165に表示させる。大きなダメージが発生する動作状態の違いを階層構造的に可視化することにより、表示装置165を見た者(管理者等)は、大きなダメージが発生する動作状態に類似する動作状態を容易に知ることができる。
(4)処理装置1bは、ダメージの代表値の大きさに応じて、樹形図における葉に接続される枝の部分の表示態様を変える(図12、図13参照)。例えば、処理装置1bは、ダメージの代表値が大きいほど枝の部分を太く表示する(図12参照)。これにより、表示装置165を見た者(管理者等)は、油圧ショベル101Aにダメージを与える動作状態と、そのダメージの大きさを容易に知ることができる。
(5)処理装置1bは、ダメージの代表値が代表閾値以上となる分類IDを抽出し、抽出された複数の分類IDを複数のグループに分類し、同じグループに分類された複数の分類IDに紐付けられている代表特徴ベクトル同士の差分に基づいて、注釈文の生成に用いる特徴量を特定する。これにより、不要な注釈文の生成のための処理が行われることを防止できる。つまり、本実施形態によれば、演算処理の負荷を低減することができる。また、注釈文が長文になることを防止できる。
<第1実施形態の変形例>
処理装置1bは、作業環境毎にダメージの代表値を演算してもよい。作業環境とは、例えば、油圧ショベル101Aを操作するオペレータ、作業エリア、掘削する地盤の性質などのことを指す。作業環境の把握は、作業開始前に入力される作業計画情報、GNSS(Global Navigation Satellite System:全地球衛星測位システム)などを用いた位置情報、オペレータの手入力情報などに基づいて、稼働情報の分割を行えばよい。処理装置1bは、オペレータ毎、作業エリア毎、掘削する地盤の性質毎など作業環境毎にダメージ量と注釈文とを関連付けた画像を表示装置165に表示させる。これにより、表示装置165を見た者(管理者等)は、作業環境に応じたダメージ量と動作状態の関係を把握することができる。例えば、図11のグラフを活用した場合、ダメージ量の大きい作業環境を特定して、作業機械101の位置情報とダメージ量に影響を及ぼす共通の事象が認められるのであれば、作業機械101の走行ルートを見直すなど、要因をより詳細に分析することが可能になる。
処理装置1bは、作業環境毎にダメージの代表値を演算してもよい。作業環境とは、例えば、油圧ショベル101Aを操作するオペレータ、作業エリア、掘削する地盤の性質などのことを指す。作業環境の把握は、作業開始前に入力される作業計画情報、GNSS(Global Navigation Satellite System:全地球衛星測位システム)などを用いた位置情報、オペレータの手入力情報などに基づいて、稼働情報の分割を行えばよい。処理装置1bは、オペレータ毎、作業エリア毎、掘削する地盤の性質毎など作業環境毎にダメージ量と注釈文とを関連付けた画像を表示装置165に表示させる。これにより、表示装置165を見た者(管理者等)は、作業環境に応じたダメージ量と動作状態の関係を把握することができる。例えば、図11のグラフを活用した場合、ダメージ量の大きい作業環境を特定して、作業機械101の位置情報とダメージ量に影響を及ぼす共通の事象が認められるのであれば、作業機械101の走行ルートを見直すなど、要因をより詳細に分析することが可能になる。
<第2実施形態>
図14を参照して、本発明の第2実施形態に係る処理装置1Bbについて説明する。図14は、第2実施形態に係る動作状態算出装置1の機能ブロック図である。なお、第2実施形態では、第1実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
図14を参照して、本発明の第2実施形態に係る処理装置1Bbについて説明する。図14は、第2実施形態に係る動作状態算出装置1の機能ブロック図である。なお、第2実施形態では、第1実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
第1実施形態では、統計処理部1mによる統計処理が完了する度に、注釈文生成部1nが、統計処理部1mによって抽出された全ての分類IDに対して、注釈文を生成するための一連の処理(図8のステップS105~S120)を実行する構成であった。これに対して、第2実施形態に係る注釈文生成部1Bnは、一度注釈文を生成した分類IDに関して、再度、注釈文を生成するための一連の処理(図8のステップS105~S120)を実行しない構成とされている。
第2実施形態に係る注釈文生成部1Bnは、分類IDの注釈文を生成した場合、その注釈文をHDD(記憶装置)156の分類モデル1Bhの分類IDに紐付けて記憶する。つまり、第2実施形態に係る分類モデル1Bhは、分類IDと、代表特徴ベクトルと、生成済みの注釈文とが対応付けられて記憶されている。統計処理部1mによる統計処理が完了すると、注釈文生成部1Bnは、統計処理部1mによって抽出された全ての分類IDに対して、既に注釈文が生成されているか否かを判定する。
具体的には、注釈文生成部1Bnは、図8のステップS100の処理を実行した後、分類モデル1Bhを参照し、統計処理部1mによって抽出された分類IDに基づいて、分類IDに紐付けられた注釈文がHDD(記憶装置)156の分類モデル1Bhに記憶されているか否かを判定する。
分類IDに紐付けられた注釈文がHDD156の分類モデル1Bhに記憶されていないと判定された場合には、注釈文生成部1Bnは、第1実施形態と同様、その分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する一連の処理(図8のステップS105~S120)を実行する。さらに、注釈文生成部1Bnは、生成された注釈文を分類IDに紐付けてHDD156の分類モデル1Bhに記憶する。この場合、表示処理部1oは、生成された注釈文と、生成された注釈文に紐付けられた分類IDに対して演算されたダメージの代表値と、を関連付けた動作情報を表示装置165に出力する。
分類IDに紐付けられた注釈文がHDD156の分類モデル1Bhに記憶されていると判定された場合には、注釈文生成部1Bnは、その分類IDに対応する油圧ショベル101Aの動作状態を表す注釈文を生成する一連の処理(図8のステップS105~S120)を実行しない。注釈文生成部1Bnは、HDD156の分類モデル1Bhに記憶されている注釈文を選択する。表示処理部1oは、選択された注釈文と、選択された注釈文に紐付けられた分類IDに対して演算されたダメージの代表値と、を関連付けた動作情報を表示装置165に出力する。
このように、第2実施形態に係る処理装置1Bbは、生成した注釈文を分類IDに紐付けて記憶する。これにより、統計処理部1mによって抽出された分類IDに対して、既に注釈文が生成されている場合には、注釈文の生成処理を再度行う必要がなくなる。その結果、処理装置1Bbによる演算処理の負荷の低減を図ることができる。
<第3実施形態>
図15を参照して、本発明の第3実施形態に係る処理装置1Cbについて説明する。図15は、第3実施形態に係る動作状態算出装置1の機能ブロック図である。なお、第3実施形態では、第2実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
図15を参照して、本発明の第3実施形態に係る処理装置1Cbについて説明する。図15は、第3実施形態に係る動作状態算出装置1の機能ブロック図である。なお、第3実施形態では、第2実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
第1実施形態及び第2実施形態に係る分類処理部1iは、図3Bに示すように、演算された特徴ベクトル(特徴座標値)4eに、その特徴ベクトル4eに最も近い代表特徴ベクトル(代表特徴座標値)4dの分類IDを割り当てる例について説明した。この方法では、特徴ベクトル4eと、代表特徴ベクトル4dとの距離が大きい場合であっても分類IDが付与される。その結果、演算された特徴ベクトル4eに分類モデル1h,1Bhの分類IDが適切に付与されないおそれがある。この現象は、分類モデル1h,1Bhを作成する学習フェーズにおいて、入力データ(特徴量)が十分に学習されていなかったことに起因する。
そこで、図15に示す第3実施形態に係る処理装置1Cbは、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていない場合には、新たな代表特徴ベクトルと新たな分類IDを分類モデル1Chに追加することにより分類モデル1Chを更新する。以下、詳しく説明する。
図15に示すように、処理装置1Cbは、分類モデル1Chの更新処理を実行する更新処理部1Cpとしての機能を備えている。分類処理部1Ciは、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されているか否かを判定する。分類処理部1Ciは、演算された特徴ベクトルと分類モデル1Chに記憶されている全ての代表特徴ベクトルとの間の距離を演算する。
分類処理部1Ciは、演算された全ての距離が非類似閾値以上である場合には、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていないと判定する。分類処理部1Ciは、演算された全ての距離のうち、非類似閾値未満である距離が一つでもある場合には、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていると判定する。非類似閾値は、予め任意の値がROM152に記憶されている。なお、非類似閾値は、分類IDの分布状況より求められる統計量に基づいて決めても構わない。
演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていないと判定された場合には、更新処理部1Cpは、分類モデル1Chの更新処理を実行する。具体的には、更新処理部1Cpは、演算された特徴ベクトルに基づいて新たな代表特徴ベクトルと新たな分類IDを生成する。さらに、更新処理部1Cpは、生成された新たな代表特徴ベクトルと新たな分類IDとを紐付けて分類モデル1Chに記憶する。
演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていると判定された場合には、更新処理部1Cpは、分類モデル1Chの更新処理を実行しない。
更新処理部1Cpは、例えば、分類処理部1Ciにより演算された特徴ベクトルそのものを新たな代表特徴ベクトルとして分類モデル1Chを更新する。なお、新たな代表特徴ベクトルを分類モデル1Chに追加する方法はこれに限られない。例えば、分類処理部1Ciにより時間軸上で連続して演算された複数の特徴ベクトルのそれぞれに類似する代表特徴ベクトルが分類モデル1Chに記憶されていない場合、更新処理部1Cpは、これらの特徴ベクトルの重心値を新たな代表特徴ベクトルとして分類モデル1Chを更新してもよい。
このように、第3実施形態に係る処理装置1Cbは、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chに記憶されていない場合、演算された特徴ベクトルに基づいて、新たな代表特徴ベクトルを生成し、新たな分類IDと紐付けて分類モデル1Chに記憶する。この構成によれば、演算された特徴ベクトルに類似する代表特徴ベクトルが分類モデル1Chにない場合においても、新たな代表特徴ベクトルとそれに紐付けられた新たな分類IDを生成することができるので、適切な分類処理、ダメージ演算処理、紐付け処理、注釈文生成処理等の各処理を実行することが可能になる。その結果、より適切に、注釈文とダメージ量とを管理者に提示することができる。
<第4実施形態>
図16及び図17を参照して、本発明の第4実施形態に係る処理装置1Cbについて説明する。図16は、第4実施形態に係る動作状態算出装置1の機能ブロック図であり、図17は、油圧ショベル101Aの運転室内に設けられる表示装置125及びスピーカ126から出力される情報の一例について示す図である。なお、第4実施形態では、第3実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
図16及び図17を参照して、本発明の第4実施形態に係る処理装置1Cbについて説明する。図16は、第4実施形態に係る動作状態算出装置1の機能ブロック図であり、図17は、油圧ショベル101Aの運転室内に設けられる表示装置125及びスピーカ126から出力される情報の一例について示す図である。なお、第4実施形態では、第3実施形態で説明した構成と同一もしくは相当する構成には同一の参照番号を付し、相違点を主に説明する。
第1~第3実施形態では、収集装置1aが作業機械101に設けられ、処理装置1b,1Bb,1Cbが管理施設に設けられる例について説明した。これに対して、第4実施形態では、収集装置1Da及び処理装置1Dbが作業機械101に設けられている。
また、第4実施形態に係る処理装置1Dbは、第3実施形態で説明した処理装置1Cbの各機能に加え、第1収集部1Df及び第2収集部1Dgにより逐次収集される稼働情報に基づいて、大きなダメージが発生したか否かを逐次判定する機能を有する。さらに、処理装置1Dbは、大きなダメージが発生した場合に、そのときの作業機械101の動作状態を説明する注釈文を生成し、生成した注釈文を音声によってオペレータに提示する機能を有する。なお、図16では、ダメージ動作データベース1u、統計処理部1m及び注釈文生成部1Bnの図示は省略し、第4実施形態の処理装置1Dbの特徴的な機能について図示している。以下、第4実施形態に係る動作状態算出装置1について詳しく説明する。
図16に示すように、第1収集部1Df及び第2収集部1Dgとして機能する収集装置1Daは、逐次、収集した第1稼働情報及び第2稼働情報を処理装置1Dbに送信する。分類処理部1Diは、入力された第1稼働情報に基づいて特徴ベクトルを演算し、分類モデル1Chを参照して、演算された特徴ベクトルに対して、その特徴ベクトルに類似する代表特徴ベクトルの分類IDを付与する。ダメージ演算処理部1Djは、入力された第2稼働情報に基づいてダメージを演算する。紐付け処理部1Dkは、分類処理部1Diによって分類された分類IDと、ダメージ演算処理部1Djによって演算されたダメージとを紐付ける。
第4実施形態に係る処理装置1Dbは、ダメージ判定部1Dq、注釈文探索部1Dr及び音出力処理部1Dsとしての機能を備える。ダメージ演算処理部1Djは、油圧ショベル101Aが受けたダメージを演算する。ダメージ判定部1Dqは、ダメージ演算処理部1Djによって演算されたダメージが、ダメージ閾値以上であるか否かを判定する。つまり、ダメージ判定部1Dqは、ダメージ閾値以上のダメージが発生したか否かを判定している。ダメージ閾値は、予めROM152に記憶されている。なお、ダメージ閾値は、管理者による入力装置161の操作によって変更できるようにしてもよい。
ダメージ判定部1Dqにより、ダメージ演算処理部1Djによって演算されたダメージが、ダメージ閾値以上であると判定された場合には、注釈文探索部1Drは、そのときの油圧ショベル101Aの動作状態を表す注釈文を分類モデル1Chから探索する。具体的には、注釈文探索部1Drは、演算されたダメージに紐付けられた分類IDに対応する注釈文を分類モデル1Chから探索する。なお、ダメージ判定部1Dqにより、ダメージ演算処理部1Djによって演算されたダメージが、ダメージ閾値未満であると判定された場合には、注釈文探索部1Drは、注釈文の探索を行わない。
音出力処理部1Dsは、注釈文探索部1Drにより探索された注釈文を音声データに変換し、音声データをスピーカ126に出力する。スピーカ126は、入力された音声データに基づいて、注釈文を音声により出力する。注釈文はテキストデータである。したがって、処理装置1Dbは、TTS(Text to Speech)などのソフトウェアを用いることにより、音声出力装置としてのスピーカ126によって、注釈文を音声で出力することが可能になる。
表示処理部1Doは、図17に示すように、表示装置125の表示画面に、バケットシリンダのダメージの時系列変化を表す時系列グラフ15bを表示させる。時系列グラフ15bは、横軸が時間軸であり、過去の履歴を表示している。ダメージ判定部1Dqにおいて、ダメージ閾値以上のダメージが発生したことが判定されると、表示処理部1Doは、ダメージ閾値以上のダメージが発生した時刻を示す時刻マーカ15gを時系列グラフ15bの時間軸に表示させる。また、表示処理部1Doは、ダメージ閾値以上のダメージが発生した時刻を時刻表示領域15eに表示させる。したがって、オペレータは、時刻マーカ15gが示す時刻及び時刻表示領域15eに表示される時刻において、大きなダメージが発生したことを確認することができる。時刻マーカ15gは表示が示す点を動かすことで、過去の任意の時刻を指定することができる。またダメージが発生した時刻は、ダメージ情報と関連付けてデータベースに記憶することとしてもよい。こうすることで、必要な際はダメージ履歴情報として任意に検索して表示することができる。なお、時刻表示領域15eには、現在時刻が表示されていてもよい。
表示処理部1Doは、ダメージ判定部1Dqにおいて、ダメージ閾値以上のダメージが発生したことが判定されると、表示装置125の表示画面のダメージ判定結果表示領域15cに、テキストで「バケットシリンダに大きなダメージ発生」と表示する。また、音出力処理部1Dsは、ダメージ判定部1Dqにおいて、ダメージ閾値以上のダメージが発生したことが判定されると、「バケットシリンダに大きなダメージ発生」をスピーカ126によって音声出力させる。
表示処理部1Doは、ダメージ判定部1Dqにおいて、ダメージ閾値以上のダメージが発生したことが判定された時刻における特徴ベクトルに基づいて探索された注釈文を表示装置125の表示画面の注釈文表示領域15dに表示させる。例えば、表示処理部1Doは、表示装置125の表示画面に注釈文である「バケットシリンダMAX、ジャッキアップ」を表示させる。また、音出力処理部1Dsは、注釈文である「バケットシリンダMAX、ジャッキアップ」をスピーカ126によって音声出力させる。なお、ジャッキアップとは、作業装置4を利用して車体を持ち上げる動作である。
なお、注釈文を構成する語句は、オペレータや管理者が変更できるようにしてもよい。つまり、枝分かれ要因の言語化は、オペレータや管理者が設定した語句を組み合わせることにより行うこととしてもよい。収集装置1aまたは処理装置1bは、入力装置120,161(図1参照)からの入力情報に基づいて、語句を生成し、分類モデル1Chに記憶する。この構成によれば、新たな動作状態に対応する新たな語句を分類モデル1Chに追加したり、既に記憶されている語句を変更したりすることができる。その結果、油圧ショベル101Aの動作状態をより把握しやすい注釈文を出力させることができる。
オペレータや管理者による語句の入力は、以下のように行うことが好ましい。例えば、動作状態算出装置1は、枝分かれした2つの動作状態を表す特徴ベクトルを表示装置125,165に表示させる。これにより、表示装置125,165の表示画面を見た者は、2つの特徴ベクトルを構成する特徴量の違いから推測される語句を入力装置120,161によって入力することができる。また、動作状態算出装置1は、2つの動作状態を表す3D-CG(Computer Graphics)アニメーションを表示装置125,165に表示させる。これにより、表示装置125,165の表示画面を見た者は、2つのアニメーションの違いから推測される語句を入力装置120,161によって入力することができる。アニメーションによって把握しやすい動作状態としては、ジャッキアップ等がある。
例えば、「バケットシリンダMAX、ジャッキアップ」の前半の語句「バケットシリンダMAX」が「バケットシリンダMAXで」に変更され、後半の語句「ジャッキアップ」が「ジャッキアップを実施」に変更された場合、注釈文は、「バケットシリンダMAXでジャッキアップを実施」となる。また、「バケットシリンダMAX、ジャッキアップ」の前半の語句「バケットシリンダMAX」が「バケットシリンダ最伸長状態で」に変更され、後半の語句「ジャッキアップ」が「ジャッキアップ動作を行いました」に変更された場合、注釈文は、「バケットシリンダ最伸長状態で、ジャッキアップ動作を行いました」となる。
なお、表示用の注釈文と、音声出力用の注釈文とを異なるようにしてもよい。これにより、表示画面の大きさに制約がある場合など、表示用の注釈文を短く、音声出力用の注釈文を長くするなどの対応が可能である。例えば、表示装置125の注釈文表示領域15dに「バケットシリンダMAX、ジャッキアップ」と表示させるとともに、スピーカ126から「バケットシリンダ最伸長状態で、ジャッキアップ動作を行いました」という音声を出力させることもできる。
表示処理部1Doは、表示装置125の表示画面におけるアニメーション表示領域15fに、CG(Computer Graphics)などを用いて油圧ショベル101Aのアニメーションを表示させる。表示処理部1Doは、収集装置1Daにより取得された作業装置4の関節角(ブーム角、アーム角、バケット角)及び車体の傾斜角に基づいて、油圧ショベル101Aの姿勢を再現する。なお、表示処理部1Doは、大きなダメージが発生している部位を強調表示するイメージ画像15hをアニメーションに重ねて表示してもかまわない。また、図示していないが、表示処理部1Doは、表示装置125の表示画面に、樹形図(図10、図12、図13参照)をさらに表示させてもよい。
このように、本第4実施形態に係る動作状態算出装置1は、音声を出力するスピーカ(音声出力装置)126を備えている。処理装置1Dbは、注釈文をスピーカ126により音声で出力させる。処理装置1Dbは、作業機械101が受けたダメージが、ダメージ閾値以上であるか否かを判定する。処理装置1Dbは、作業機械101が受けたダメージが、ダメージ閾値以上であると判定された場合には、そのときの作業機械101の動作状態を表す注釈文を分類モデル1Chから探索し、探索した注釈文を音声データに変換し、スピーカ126によって注釈文を音声で出力させる。この構成によれば、大きなダメージが発生した場合に、油圧ショベル101Aの動作状態を表す注釈文を音声に変換して、報知することができる。これにより、油圧ショベル101Aのオペレータは、大きなダメージが発生した場合に、そのときの油圧ショベル101Aの動作状態を直ちに知ることができる。
なお、ダメージを受けた場所や動作状態によっては、油圧ショベル101Aのアニメーションで適切に表現することが難しい場合がある。本実施形態では、ダメージを受けた場所や動作状態をテキストや音声で出力することができるため、オペレータは、ダメージを受けた場所や動作状態を適切に知ることができる。
<第4実施形態の変形例>
第4実施形態では、作業機械101が油圧ショベル101Aである場合について説明したが、本発明はこれに限定されない。本変形例では、作業機械101がダンプトラック101Bである場合について説明する。図18は、ダンプトラック101Bの運転室内に設けられる表示装置125及びスピーカ126から出力される情報の一例について示す図である。図18に示すように、ダンプトラック101Bの運転室には、表示装置125及びスピーカ126が設けられている。
第4実施形態では、作業機械101が油圧ショベル101Aである場合について説明したが、本発明はこれに限定されない。本変形例では、作業機械101がダンプトラック101Bである場合について説明する。図18は、ダンプトラック101Bの運転室内に設けられる表示装置125及びスピーカ126から出力される情報の一例について示す図である。図18に示すように、ダンプトラック101Bの運転室には、表示装置125及びスピーカ126が設けられている。
表示処理部1Doは、表示装置125の表示画面に、車体のダメージの時系列変化を表す時系列グラフ15bを表示させる。車体のダメージは、例えば、タイヤと車体とを接続するサスペンションの圧力の変化に基づいて演算される。サスペンションの圧力は、圧力センサにより検出され、第2収集部1Dgにより収集される。ダメージ演算処理部1Djは、第2収集部1Dgにより収集されたサスペンションの圧力の変化に基づいて、車体のダメージを演算する。
作業機械101がダンプトラック101Bである場合、特徴ベクトルを構成する特徴量には、検出装置により検出される「車速」「積載量」「サスペンション圧力」「ホイストシリンダ圧力」などが設定される。
したがって、本変形例に係る処理装置1Dbは、上記実施形態と同様、ダンプトラック101Bの稼働情報を特徴量とする特徴ベクトルを演算し、分類モデル1Chに基づいて、演算された特徴ベクトルに分類IDを付与することができる。
図示する例では、運搬物を積載したダンプトラック101Bが、凹凸の大きな路面を高速で通過したときの特徴ベクトルに分類IDを付与し、その分類IDに対応する注釈文を分類モデル1Chから探索し、探索した注釈文を音声で出力するとともにテキストで表示した例である。このように、動作状態算出装置1は、作業機械101がダンプトラック101Bである場合にも、上記実施形態と同様の処理を行うことができる。
次のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、上述の異なる実施形態で説明した構成同士を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせることも可能である。
<変形例1>
第1実施形態に係る処理装置1bは、表示装置165に樹形図(図12、図13参照)を表示させ、樹形図上に、注釈文を構成する語句を階層的に表示させる例について説明した。処理装置1bは、注釈文を構成する語句をカタログ化により階層的に表示させてもよい。ここで、カタログ化とは、目次のように階層的に動作状態を一覧化することをいう。図19は、カタログ化により階層的に表示された注釈文とダメージ量の表示画像の一例について示す図である。
第1実施形態に係る処理装置1bは、表示装置165に樹形図(図12、図13参照)を表示させ、樹形図上に、注釈文を構成する語句を階層的に表示させる例について説明した。処理装置1bは、注釈文を構成する語句をカタログ化により階層的に表示させてもよい。ここで、カタログ化とは、目次のように階層的に動作状態を一覧化することをいう。図19は、カタログ化により階層的に表示された注釈文とダメージ量の表示画像の一例について示す図である。
図19に示す例では、上位グループにおける枝分かれ要因として特定された特徴量Caの大きさに対応する語句である「横あて」が第1項目として表示されている。また、中位グループにおける枝分かれ要因として特定された特徴量Cbの大きさに対応する語句「右」と「左」が第2項目として表示されている。さらに、下位グループにおける枝分かれ要因として特定された特徴量Ccの大きさに対応する語句である「アーム角鉛直」と「アーム角MAX」が第3項目として表示されている。
表示処理部1oは、ダメージ量として、同じ分類IDが設定された区間におけるダメージ量の平均値、最大値、及び累積値を表示装置165に表示させる。このように、本変形例では、動作状態を表す注釈文をカタログ化して表示するとともに、ダメージ量を表示する。これにより、表示装置165を見た者(管理者等)は、同じ「横あて」でもどのような動作状態で横あてをすると大きなダメージが発生するのかを容易に把握することができる。
なお、図示する例では、油圧ショベル101Aの作業装置4の側部を地山の側面等にぶつける「横あて」動作を階層構造的に分類し、カタログ化した例であるが、他の動作を分類し、カタログ化してもよい。例えば、作業装置4を利用して車体を持ち上げるジャッキアップを階層構造的に分類し、カタログ化して表示してもよい。
<変形例2>
第1~第3実施形態では、収集装置(機械制御装置)1aが作業機械101に設けられ、処理装置(管理サーバ)1b,1Bb,1Cbが管理施設に設けられる例について説明した。第4実施形態では、収集装置(機械制御装置)1Da及び処理装置(機械制御装置)1Dbが作業機械101に設けられる例について説明した。しかしながら、本発明はこれらに限定されない。管理サーバ150が収集装置1aの機能の一部または全部を有していてもよい。また、機械制御装置110が処理装置1bの機能の一部または全部を有していてもよい。つまり、作業機械の動作状態算出装置(動作状態算出システム)1は、管理施設にのみ設けられていてもよいし、作業機械101にのみ設けられていてもよい。また、作業機械の動作状態算出装置(動作状態算出システム)1の一部が作業機械101に設けられ、残りが管理施設に設けられていてもよい。
第1~第3実施形態では、収集装置(機械制御装置)1aが作業機械101に設けられ、処理装置(管理サーバ)1b,1Bb,1Cbが管理施設に設けられる例について説明した。第4実施形態では、収集装置(機械制御装置)1Da及び処理装置(機械制御装置)1Dbが作業機械101に設けられる例について説明した。しかしながら、本発明はこれらに限定されない。管理サーバ150が収集装置1aの機能の一部または全部を有していてもよい。また、機械制御装置110が処理装置1bの機能の一部または全部を有していてもよい。つまり、作業機械の動作状態算出装置(動作状態算出システム)1は、管理施設にのみ設けられていてもよいし、作業機械101にのみ設けられていてもよい。また、作業機械の動作状態算出装置(動作状態算出システム)1の一部が作業機械101に設けられ、残りが管理施設に設けられていてもよい。
例えば、動作状態算出装置1は、図20に示すような構成とすることもできる。図20に示す例では、作業機械101に設けられる機械制御装置110が、第1実施形態で説明した第1収集部1f、第2収集部1g、分類処理部1i、ダメージ演算処理部1j、紐付け処理部1kとしての機能、並びに、第4実施形態で説明したダメージ判定部1Dq及び注釈文探索部1Dr、音出力処理部1Ds、表示処理部1Doとしての機能を有している。また、管理施設に設けられる管理サーバ150が、第1実施形態で説明した統計処理部1m及び表示処理部1o、第2実施形態で説明した注釈文生成部1Bn、並びに、第3実施形態で説明した更新処理部1Cpとしての機能を有している。
本変形例に係る動作状態算出装置1は、ダメージ閾値以上のダメージが発生した場合、第4実施形態と同様、リアルタイム(逐次処理)で、注釈文の画像を表示装置125に表示させるとともに、スピーカ126により注釈文を音声によって出力する。また、本変形例に係る動作状態算出装置1は、階層的クラスタリング処理を実行し、生成した注釈文を樹形図のような階層的構造の表示態様で表示装置125,165に表示させることができる。
本変形例に係る処理装置としての管理サーバ150は、統計処理の結果である分類ID毎に演算されたダメージの代表値に基づいて、ダメージが発生している部品の点検時期を演算し、その演算結果を表示装置165に表示させる。これにより、表示装置165を見た者は、部品の点検時期を知ることができるので、メンテナンス計画を適切にたてることができる。
また、本変形例に係る管理サーバ150は、統計処理の結果に基づいて、部品の寿命を演算し、その演算結果を表示装置165に表示させる。これにより、表示装置165を見た者は、部品の寿命を知ることができるので、メンテナンス計画を適切にたてることができる。
さらに、本変形例に係る管理サーバ150は、統計処理の結果に基づいて、次に開発する機種の設計条件を検討するためのデータを演算し、その演算結果を表示装置165に表示させる。これにより、表示装置165を見た者は、次に開発する機種の設計条件の検討を適切に行うことができる。
管理サーバ150は、部品の点検時期及び寿命の演算結果(予測結果)を表示装置165に表示させるとともに、注釈文を樹形図化またはカタログ化した画像を表示装置165に表示させる。部品の点検時期、寿命とともに注釈文を表示装置165に表示させることにより、表示装置165を見た者は、ダメージの大きさ、点検時期、寿命、動作状態の関係に基づいて、作業機械101の作業計画、開発計画等を適切にたてることができる。
管理サーバ150は、複数の作業機械101から取得した特徴ベクトルに基づいて、分類モデル(マスタ)の更新処理を実行する。管理サーバ150は、定期的に、あるいは作業機械101から要求があった場合に、分類モデル(マスタ)に基づいて、作業機械101の分類モデルのアップデートを行う。
この構成によれば、複数の作業機械101のいずれかで、分類モデルの代表特徴ベクトルに類似しない特徴ベクトルが演算され、管理サーバ150に送信されることにより、新たな代表特徴ベクトルが分類モデル(マスタ)に登録され、登録された新たな代表特徴ベクトルが各作業機械101の分類モデルにも追加される。
<変形例3>
第1~第4実施形態では、作業機械101が油圧ショベル101Aである場合について説明し、第4実施形態の変形例では、作業機械101がダンプトラック101Bである場合について説明したが、本発明はこれに限定されない。本発明は、掘削、運搬、組立、分解等の作業を行う作業装置を備えた種々の作業機械に適用することができる。
第1~第4実施形態では、作業機械101が油圧ショベル101Aである場合について説明し、第4実施形態の変形例では、作業機械101がダンプトラック101Bである場合について説明したが、本発明はこれに限定されない。本発明は、掘削、運搬、組立、分解等の作業を行う作業装置を備えた種々の作業機械に適用することができる。
<変形例4>
上記実施形態では、階層的クラスタリング処理により、分類IDを階層構造の複数のグループに再分類する例について説明したが、本発明はこれに限定されない。ニューラルネットワーク手法により、分類IDを複数のグループに再分類してもよい。
上記実施形態では、階層的クラスタリング処理により、分類IDを階層構造の複数のグループに再分類する例について説明したが、本発明はこれに限定されない。ニューラルネットワーク手法により、分類IDを複数のグループに再分類してもよい。
<変形例5>
第1実施形態では、処理装置1bが、ダメージ量が代表閾値以上となる分類IDを抽出し、抽出された複数の分類IDに対して注釈文を生成する例について説明したが、本発明はこれに限定されない。処理装置1bは、ダメージ量に関わらず、全ての分類IDに対して注釈文を生成してもよい。
第1実施形態では、処理装置1bが、ダメージ量が代表閾値以上となる分類IDを抽出し、抽出された複数の分類IDに対して注釈文を生成する例について説明したが、本発明はこれに限定されない。処理装置1bは、ダメージ量に関わらず、全ての分類IDに対して注釈文を生成してもよい。
<変形例6>
第1実施形態では、注釈文を表示装置165に表示させる例について説明したが、注釈文を外部へ出力する態様は、これに限定されない。動作状態算出装置1は、出力装置としての印刷装置を備えていてもよい。この場合、処理装置1bは、印刷装置によって注釈文を紙に印刷することで、外部へ注釈文を出力させる。
第1実施形態では、注釈文を表示装置165に表示させる例について説明したが、注釈文を外部へ出力する態様は、これに限定されない。動作状態算出装置1は、出力装置としての印刷装置を備えていてもよい。この場合、処理装置1bは、印刷装置によって注釈文を紙に印刷することで、外部へ注釈文を出力させる。
第1実施形態において、管理施設にスピーカ等の音声出力装置を設け、処理装置1bが、注釈文を音声データに変換し、変換した音声データを音声出力装置に出力してもよい。これにより、注釈文を音声出力装置により音声で出力することができる。
また、処理装置1bは、注釈文を含む動作情報を、出力装置としての通信装置162を介して、スマートフォン、タブレットPC、携帯電話等の携帯端末に送信(出力)するようにしてもよい。これにより、携帯端末の所有者は、携帯端末を操作することにより、注釈文を含む情報を表示画面に表示させることができる。
<変形例7>
第1実施形態では、処理装置1bが、特定された特徴量Caの大きさに対応する語句と、特定された特徴量Cbの大きさに対応する語句と、特定された特徴量Ccの大きさに対応する語句とを繋いで注釈文を生成する例、すなわち3つの語句を繋いで注釈文を生成する例について説明したが、本発明はこれに限定されない。処理装置1bは、少なくとも2つの語句を繋いで注釈文を生成すればよい。また、処理装置1bは、第1~第3階層となる階層的クラスタリング処理を実施する場合に限定されない。処理装置1bは、4階層以上となる階層的クラスタリング処理を実施してもよい。この場合、注釈文は、4つ以上の語句が繋ぎ合わされることにより生成される。
第1実施形態では、処理装置1bが、特定された特徴量Caの大きさに対応する語句と、特定された特徴量Cbの大きさに対応する語句と、特定された特徴量Ccの大きさに対応する語句とを繋いで注釈文を生成する例、すなわち3つの語句を繋いで注釈文を生成する例について説明したが、本発明はこれに限定されない。処理装置1bは、少なくとも2つの語句を繋いで注釈文を生成すればよい。また、処理装置1bは、第1~第3階層となる階層的クラスタリング処理を実施する場合に限定されない。処理装置1bは、4階層以上となる階層的クラスタリング処理を実施してもよい。この場合、注釈文は、4つ以上の語句が繋ぎ合わされることにより生成される。
<変形例8>
第1実施形態では、ダメージ演算処理部1jが対象としているダメージが、応力疲労損傷のような物理的なダメージである例について説明したが、本発明はこれに限定されない。ダメージ演算処理部1jが対象としているダメージには、油圧ショベル101Aのバランスが悪い姿勢となっている状況等の油圧ショベル101Aが不安定となる状況が含まれていてもよい。油圧ショベル101Aのバランスが悪い姿勢は、油圧ショベル101Aに傾斜計を取り付けることによって検出され得る。
第1実施形態では、ダメージ演算処理部1jが対象としているダメージが、応力疲労損傷のような物理的なダメージである例について説明したが、本発明はこれに限定されない。ダメージ演算処理部1jが対象としているダメージには、油圧ショベル101Aのバランスが悪い姿勢となっている状況等の油圧ショベル101Aが不安定となる状況が含まれていてもよい。油圧ショベル101Aのバランスが悪い姿勢は、油圧ショベル101Aに傾斜計を取り付けることによって検出され得る。
<変形例9>
第1実施形態では、表示装置165の表示画面165aに表示される棒グラフ(図11参照)及び樹形図(図12、図13参照)に分類IDが含まれている例について説明したが、本発明はこれに限定されない。棒グラフ(図11参照)及び樹形図(図12、図13参照)には分類IDを表示しなくてもよい。表示装置165の表示画面165aには、少なくとも、注釈文とダメージ量とが関連付けられた画像が表示されていればよい。
第1実施形態では、表示装置165の表示画面165aに表示される棒グラフ(図11参照)及び樹形図(図12、図13参照)に分類IDが含まれている例について説明したが、本発明はこれに限定されない。棒グラフ(図11参照)及び樹形図(図12、図13参照)には分類IDを表示しなくてもよい。表示装置165の表示画面165aには、少なくとも、注釈文とダメージ量とが関連付けられた画像が表示されていればよい。
<変形例10>
第4実施形態では、表示装置125,165の表示画面に、注釈文とダメージ量を関連付けてアニメーションを表示する例(図17参照)について説明したが、表示範囲は作業機械101の側面(表側)に限られない。3D-CGによるアニメーション表示では、ある視点位置から作業機械101の状況を表示画面に投影した観察動画となるため、問題となる動作(ダメージ動作)が裏側で起こっている場合、状況が把握できないという問題がある。そこで、アニメーションで特定できないダメージであるか否かを判定する構成(ダメージ領域判定手段)を設けて、その判定結果に応じて、表示をテキストや音声のいずれかにするなどしてもよい。すなわち作業機械101の累積損傷度は、アニメーションで確認できる表面だけでなく裏面でも増加しうるが、視覚的に確認できない裏面を含む表示によって作業機械全体の状態を把握することができる。例えば、作業機械101の表面の累積損傷度はアニメーションで表示し、裏側はテキストまたは音声で表示するなど、表示のしかたは任意に組み合わせて設定してもよい。それによってオペレータにもいっそう有用な通知が可能になる。
第4実施形態では、表示装置125,165の表示画面に、注釈文とダメージ量を関連付けてアニメーションを表示する例(図17参照)について説明したが、表示範囲は作業機械101の側面(表側)に限られない。3D-CGによるアニメーション表示では、ある視点位置から作業機械101の状況を表示画面に投影した観察動画となるため、問題となる動作(ダメージ動作)が裏側で起こっている場合、状況が把握できないという問題がある。そこで、アニメーションで特定できないダメージであるか否かを判定する構成(ダメージ領域判定手段)を設けて、その判定結果に応じて、表示をテキストや音声のいずれかにするなどしてもよい。すなわち作業機械101の累積損傷度は、アニメーションで確認できる表面だけでなく裏面でも増加しうるが、視覚的に確認できない裏面を含む表示によって作業機械全体の状態を把握することができる。例えば、作業機械101の表面の累積損傷度はアニメーションで表示し、裏側はテキストまたは音声で表示するなど、表示のしかたは任意に組み合わせて設定してもよい。それによってオペレータにもいっそう有用な通知が可能になる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
上述した実施形態及び変形例は本発明を理解し易く説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施形態、変形例の構成の一部を他の実施形態、変形例の構成に置き換えることが可能であり、また、ある実施形態、変形例の構成に他の実施形態、変形例の構成を加えることも可能である。なお、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
1…作業機械の動作状態算出装置、1a,1Da…収集装置、1b,1Bb,1Cb,1Db…処理装置、1f,1Df…第1収集部、1g,1Dg…第2収集部、1h,1Bh,1Ch…分類モデル、1i,1Ci,1Di…分類処理部、1j,1Dj…ダメージ演算処理部、1k,1Dk…紐付け処理部、1m…統計処理部、1n,1Bn…注釈文生成部、1o,1Do…表示処理部、1u…ダメージ動作データベース、1Cp…更新処理部、1Dq…ダメージ判定部、1Dr…注釈文探索部、1Ds…音出力処理部、4…作業装置、101…作業機械、101A…油圧ショベル(作業機械)、101B…ダンプトラック(作業機械)、101C…作業ロボット(作業機械)、120…入力装置、121~124…検出装置、125…表示装置(出力装置)、126…スピーカ(音声出力装置、出力装置)、150…管理サーバ、161…入力装置、162…通信装置(出力装置)、165…表示装置(出力装置)
Claims (12)
- 時系列的に変化する作業機械の稼働に伴う複数の稼働情報に基づいて前記作業機械の動作状態を算出する処理装置と、
前記処理装置により算出された前記作業機械の動作状態を表す動作情報を出力する出力装置と、を備えた作業機械の動作状態算出装置において、
前記処理装置は、
前記複数の稼働情報を特徴量とする特徴ベクトルを複数の時刻毎に演算し、
前記作業機械の動作状態を表す特徴ベクトルのクラスタの代表値である代表特徴ベクトルと分類IDとが紐付けられた分類モデルに基づいて、複数の時刻毎に演算された前記特徴ベクトルに前記分類IDを付与し、
前記複数の稼働情報に基づいて、前記作業機械が受けたダメージを複数の時刻毎に演算し、
時刻と、演算された前記特徴ベクトルに付与された前記分類IDと、演算された前記ダメージと、を紐付けたデータベースを記憶し、
前記データベースに含まれる前記時刻、前記分類ID、及び前記ダメージに基づいて、前記分類ID毎の前記ダメージの代表値を演算し、
前記分類IDに紐付けられている前記代表特徴ベクトルを構成する複数の特徴量の大きさに対応する語句を繋ぐことにより、前記分類IDに対応する前記作業機械の動作状態を表す文を生成し、
前記作業機械の動作状態を表す文と、前記文の生成に用いた前記代表特徴ベクトルに紐付けられている前記分類IDに対して演算された前記ダメージの代表値とを関連付けた動作情報を前記出力装置に出力し、
前記出力装置は、前記処理装置から入力された前記動作情報を出力する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、
複数の前記分類IDを複数のグループに分類し、
同じグループに分類された複数の前記分類IDに紐付けられている前記代表特徴ベクトル同士の違いに基づいて、前記文の生成に用いる前記特徴量を特定し、
特定した前記特徴量の大きさに対応する語句を繋ぐことにより、前記分類IDに対応する前記作業機械の動作状態を表す文を生成する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項2に記載の作業機械の動作状態算出装置において、
前記処理装置は、
複数の前記分類IDを前記代表特徴ベクトルに基づいて階層構造の複数のグループに分類し、
同じ下位のグループに属する複数の分類IDに紐付けられている前記代表特徴ベクトルに基づいて、前記下位のグループの代表特徴ベクトルを演算し、
同じ上位のグループに属する複数の前記下位のグループの代表特徴ベクトル同士の差分に基づいて、第1の特徴量を特定し、
同じ下位のグループに属する複数の分類IDに紐付けられている前記代表特徴ベクトル同士の差分に基づいて、第2の特徴量を特定し、
特定した前記第1の特徴量の大きさに対応する語句と、特定した前記第2の特徴量の大きさに対応する語句と、を含む、前記分類IDに対応する前記作業機械の動作状態を表す文を生成する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項3に記載の作業機械の動作状態算出装置において、
前記出力装置は、画像を表示する表示装置であって、
前記処理装置は、前記文を構成する前記語句を階層的に前記表示装置に表示させる
ことを特徴とする作業機械の動作状態算出装置。 - 請求項4に記載の作業機械の動作状態算出装置において、
前記処理装置は、
前記分類IDが葉となる樹形図を前記表示装置に表示させ、
前記ダメージの代表値の大きさに応じて、前記樹形図における前記葉に接続される枝の部分の表示態様を変える
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、
前記ダメージの代表値が代表閾値以上となる前記分類IDを抽出し、
抽出された複数の前記分類IDを複数のグループに分類し、
同じグループに分類された複数の前記分類IDに紐付けられている前記代表特徴ベクトル同士の差分に基づいて、前記文の生成に用いる前記特徴量を特定し、
特定した前記特徴量の大きさに対応する語句を繋ぐことにより、前記分類IDに対応する前記作業機械の動作状態を表す文を生成する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記文を前記分類IDに紐付けて記憶する記憶装置を備え、
前記処理装置は、
前記分類IDに紐付けられた前記文が前記記憶装置に記憶されているか否かを判定し、
前記分類IDに紐付けられた前記文が前記記憶装置に記憶されていないと判定された場合には、前記分類IDに対応する前記作業機械の動作状態を表す文を生成し、生成された前記文を前記分類IDに紐付けて前記記憶装置に記憶し、生成された前記文と、生成された前記文に紐付けられた前記分類IDに対して演算された前記ダメージの代表値と、を関連付けた動作情報を前記出力装置に出力し、
前記分類IDに紐付けられた前記文が前記記憶装置に記憶されていると判定された場合には、前記分類IDに対応する前記作業機械の動作状態を表す文を生成することなく、前記記憶装置に記憶されている前記文を選択し、選択された前記文と、選択された前記文に紐付けられた前記分類IDに対して演算された前記ダメージの代表値と、を関連付けた動作情報を前記出力装置に出力する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、作業環境毎に前記ダメージの代表値を演算する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、
演算された前記特徴ベクトルに類似する代表特徴ベクトルが前記分類モデルに記憶されているか否かを判定し、
演算された前記特徴ベクトルに類似する代表特徴ベクトルが前記分類モデルに記憶されていないと判定された場合には、演算された前記特徴ベクトルに基づいて新たな代表特徴ベクトルと新たな分類IDを生成し、生成された前記新たな代表特徴ベクトルと前記新たな分類IDとを紐付けて前記分類モデルに記憶する
ことを特徴とする作業機械の動作状態算出装置。 - 請求項7に記載の作業機械の動作状態算出装置において、
前記出力装置は、音声を出力する音声出力装置であって、
前記処理装置は、
前記作業機械が受けたダメージが、ダメージ閾値以上であるか否かを判定し、
前記作業機械が受けたダメージが、ダメージ閾値以上であると判定された場合には、そのときの前記作業機械の動作状態を表す前記文を前記音声出力装置により音声で出力させる
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、前記分類ID毎に演算された前記ダメージの代表値に基づいて、前記ダメージが発生している部品の点検時期及び寿命の少なくとも一方を演算し、その演算結果とともに前記文を前記出力装置によって出力させる
ことを特徴とする作業機械の動作状態算出装置。 - 請求項1に記載の作業機械の動作状態算出装置において、
前記処理装置は、入力装置からの入力情報に基づいて、前記語句を生成し、記憶する
ことを特徴とする作業機械の動作状態算出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008317A JP2023107169A (ja) | 2022-01-21 | 2022-01-21 | 作業機械の動作状態算出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008317A JP2023107169A (ja) | 2022-01-21 | 2022-01-21 | 作業機械の動作状態算出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023107169A true JP2023107169A (ja) | 2023-08-02 |
Family
ID=87473645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022008317A Pending JP2023107169A (ja) | 2022-01-21 | 2022-01-21 | 作業機械の動作状態算出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023107169A (ja) |
-
2022
- 2022-01-21 JP JP2022008317A patent/JP2023107169A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111272220B (zh) | 一种隧道状态检测监测管理系统 | |
JP5887405B2 (ja) | 作業機械の応力演算システム | |
JP5491627B2 (ja) | 作業機械の安全装置 | |
CN101057043B (zh) | 自主装载铲系统 | |
CN114021487B (zh) | 一种山坡崩塌的预警方法、装置、设备及可读存储介质 | |
US11814818B2 (en) | Fatigue management system | |
JP2014137270A (ja) | トンネル管理システム、トンネル管理方法、およびトンネル管理プログラム | |
JP2023107169A (ja) | 作業機械の動作状態算出装置 | |
US20040093103A1 (en) | Functional object data, functional object imaging system, and object data transmitting unit, object data receiving unit and managing unit for use in the functional object imaging system | |
US20060041845A1 (en) | Systems and methods for exchanging display data between machines | |
WO2021241487A1 (ja) | タイミング予測方法、タイミング予測装置、タイミング予測システム、プログラム及び建設機械システム | |
JP2020173556A (ja) | 情報処理装置、情報処理方法、学習済モデルの生成方法、システム、および学習用データセット | |
KR20220098954A (ko) | 건설 장비의 결함 진단 시스템 및 결함 진단 방법 | |
CN112446172A (zh) | 用于工程机械的地质硬度识别方法以及系统 | |
WO2021019949A1 (ja) | 建設機械の作業内容判定システム及び作業判定方法 | |
CN107614804B (zh) | 挖掘机支援装置 | |
JP2019065639A (ja) | ケーソンの状態予測システム及びプログラム | |
JP2023541793A (ja) | 圧力データおよび流量データに基づくトラック摩耗検出 | |
JP7016936B1 (ja) | 動作把握システム | |
JP2018001282A (ja) | 稼働状況検知方法、稼働状況検知システムおよび稼働状況検知プログラム | |
US20220066408A1 (en) | System and method for machine monitoring | |
Jakobsson et al. | Data driven modeling and estimation of accumulated damage in mining vehicles using on-board sensors | |
Marcher et al. | Capabilities and challenges using machine learning in tunnelling | |
JP7497538B1 (ja) | ケーソン管理システム及びプログラム | |
JP2021032868A (ja) | 情報収集システム、情報収集装置およびプログラム |