JP2019007308A - ショベル、並びに、ショベルの管理装置及び支援装置 - Google Patents

ショベル、並びに、ショベルの管理装置及び支援装置 Download PDF

Info

Publication number
JP2019007308A
JP2019007308A JP2017126504A JP2017126504A JP2019007308A JP 2019007308 A JP2019007308 A JP 2019007308A JP 2017126504 A JP2017126504 A JP 2017126504A JP 2017126504 A JP2017126504 A JP 2017126504A JP 2019007308 A JP2019007308 A JP 2019007308A
Authority
JP
Japan
Prior art keywords
storage device
data
excavator
volatile storage
shovel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017126504A
Other languages
English (en)
Other versions
JP7297403B2 (ja
Inventor
方土 古賀
Masato Koga
方土 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2017126504A priority Critical patent/JP7297403B2/ja
Publication of JP2019007308A publication Critical patent/JP2019007308A/ja
Application granted granted Critical
Publication of JP7297403B2 publication Critical patent/JP7297403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ショベルに搭載された情報取得装置が出力するデータをより効率的に記憶するショベルを提供すること。【解決手段】本発明の実施形態に係るショベルは、下部走行体1と、下部走行体1に旋回可能に搭載された上部旋回体3と、上部旋回体3に搭載される運転室10と、運転室10内に設置されるマイク61と、上部旋回体3に搭載される揮発性記憶装置52、不揮発性記憶装置53及びコントローラ30と、を有する。コントローラ30は、ショベルに搭載される情報取得装置51が出力するデータを揮発性記憶装置52に記憶し、且つ、マイク61の出力に基づき、揮発性記憶装置52に記憶されたデータの一部を特定して不揮発性記憶装置53に記憶する。【選択図】図2

Description

本開示は、ショベル、並びに、ショベルの管理装置及び支援装置に関する。
従来、ショベルに取り付けられたセンサの出力に基づき異常が発生したか否を判断する情報管理装置が知られている(例えば、特許文献1参照)。この情報管理装置は、異常が発生したと判断した場合に、異常発生時点の前後の所定時間における各種パラメータの時系列データを記憶している。
特開2000−297443号公報
しかしながら、上述の情報管理装置は、ショベルの操作者がショベルの動きに違和感を抱いた場合であっても、センサの出力が正常である限り、異常が発生したとは判断せず、そのときの各種パラメータの時系列データを、異常が発生したときの時系列データとして記憶することもない。そのため、管理者は、操作者がショベルの動きに違和感を抱いたときのショベルの状態を再現させようとしても、その状態を再現させることができない場合がある。その状態が発生したときの各種パラメータの時系列データを記憶できていないため或いは特定できないため、各種パラメータの値がどのような組み合わせのときにその状態が発生するのかを解析できないためである。
操作者が違和感を抱いたときのショベルの状態は、ショベルの不具合の予兆である場合がある。そのため、操作者が違和感を抱いたときの各種パラメータの時系列データは、ショベルの不具合を早期に発見する上で重要である。操作者が満足感を抱いたときの各種パラメータの時系列データも操作者が望むショベルの動きを知る上で重要である。
上述の点に鑑み、ショベルに搭載された情報取得装置が出力するデータをより効率的に記憶するショベルを提供することが望ましい。
本発明の実施形態に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、前記上部旋回体に搭載される運転室と、前記運転室内に設置されるマイクと、前記上部旋回体に搭載される揮発性記憶装置、不揮発性記憶装置及び制御装置と、を有するショベルであって、前記制御装置は、前記ショベルに搭載される情報取得装置が出力するデータを前記揮発性記憶装置に記憶し、且つ、前記マイクの出力に基づき、前記揮発性記憶装置に記憶されたデータの一部を特定して前記不揮発性記憶装置に記憶する。
上述の手段は、ショベルに搭載された情報取得装置が出力するデータをより効率的に記憶するショベルを提供できる。
本発明の実施形態に係るショベルの側面図である。 図1のショベルの運転室の側面図である。 図1のショベルの運転室の上面図である。 図1に示すショベルに搭載される基本システムの構成例を示す図である。 データ送信処理の一例のフローチャートである。 データ表示画面の一例である。 データ送信処理の別の一例のフローチャートである。 コメント入力処理の一例のフローチャートである。 コメント入力画面の一例である。
図1は、本発明の実施形態に係るショベルの側面図である。ショベルの下部走行体1には、旋回機構2を介して上部旋回体3が旋回可能に搭載されている。上部旋回体3には、ブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはバケット6が取り付けられている。ブーム4、アーム5及びバケット6は、掘削アタッチメントを構成する。ブーム4、アーム5及びバケット6は、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。上部旋回体3には、運転室10が設けられ、且つ、エンジン等の動力源が搭載されている。
図2は運転室10の側面図であり、図3は運転室10の平面図である。図2及び図3における一点鎖線は、各構成要素の電気的な接続関係を示している。図2及び図3に示すように、運転室10には表示装置40、運転席60、マイク61等が設けられている。操作者は運転席60に着座しながらショベルを操作する。マイク61は、例えば、操作者が発する声を採取し、採取した声を電気信号に変換する。表示装置40は、例えばタッチパネルを含む入力表示装置であり、運転席60の近傍で操作者が見やすい位置に配置されている。本実施形態では、表示装置40は液晶ディスプレイである。
入力表示装置として携帯型情報機器が用いられてもよい。具体的には、スマートフォン、タブレットPC等の多機能型携帯情報端末が入力表示装置として運転席60の近傍に配置されていてもよい。この場合、マイク61は、多機能型携帯情報端末に組み込まれているマイクであってもよい。
上部旋回体3にはコントローラ30も搭載されている。コントローラ30は、ショベルを制御するための制御装置であり、例えば、マイクロコンピュータで構成される。本実施形態では、コントローラ30は、ショベルに搭載されている情報取得装置51に接続されている。情報取得装置51は、例えば、マイク61、油温センサ、水温センサ、燃料噴射圧センサ、ポンプ吐出圧センサ、操作圧センサ等である。
情報取得装置51は、上部旋回体3、ブーム4、運転室10等に取り付けられるカメラであってもよい。カメラの撮像範囲は、例えば、上部旋回体3の前方にある空間である。上部旋回体3の側方又は後方にある空間であってもよい。
情報取得装置51は、掘削アタッチメントの姿勢を検出する姿勢センサであってもよい。姿勢センサは、例えば、ブーム角度センサ、アーム角度センサ、バケット角度センサ、機体傾斜センサ等を含む。姿勢センサは、ブームシリンダストロークセンサ、アームシリンダストロークセンサ、バケットシリンダストロークセンサ等を含んでいてもよい。各姿勢センサは、加速度センサとジャイロセンサの組み合わせで構成されてもよい。
情報取得装置51は、ショベルが行っている作業の内容を検出する作業内容検出センサであってもよい。作業内容検出センサは、例えば、操作圧センサ及びシリンダ圧センサの組み合わせで構成されてもよい。シリンダ圧センサは、例えば、ブームロッド圧センサ、ブームボトム圧センサ、アームロッド圧センサ、アームボトム圧センサ、バケットロッド圧センサ、バケットボトム圧センサ等を含む。
コントローラ30は、ショベルの運転情報、制御情報等の各種情報を表示装置40に表示させることで、操作者に各種情報を提供できる。操作者は表示装置40の入力機能を利用して情報、指令等をコントローラ30に入力できる。
コントローラ30は、表示装置40、揮発性記憶装置52、不揮発性記憶装置53、通信装置54等にも接続されている。揮発性記憶装置52は、情報取得装置51が出力するデータを一時的に記憶する。例えば、揮発性記憶装置52にはリングバッファが構成されている。不揮発性記憶装置53は、揮発性記憶装置52に記憶されたデータの一部を記憶する。揮発性記憶装置52及び不揮発性記憶装置53は、コントローラ30に内蔵されていてもよい。
コントローラ30は、例えば、情報取得装置51が所定周期毎に出力するデータを時系列的に揮発性記憶装置52に記憶する。そして、コントローラ30は、例えば、マイク61の出力に基づき、揮発性記憶装置52に記憶されたデータの一部を特定して不揮発性記憶装置53に記憶する。例えば、マイク61の出力に基づいて基準時点を決定し、基準時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶する。基準時点は、例えば、ショベルの操作者による発話が行われた時点である。
通信装置54は、ショベルと外部との通信を制御する。通信装置54は、例えば、携帯電話通信網、衛星通信網、無線LAN通信網等を介したショベルと外部との通信を制御する。
次に、図4を参照し、ショベルに搭載される基本システムについて説明する。図4は、図1に示すショベルに搭載される基本システムの構成例を示す図である。図4において、機械的動力系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示されている。
ショベルの駆動系は、主に、エンジン11、メインポンプ14、パイロットポンプ15、コントロールバルブ17、操作装置26、及びコントローラ30で構成されている。
エンジン11は、ショベルの駆動源であり、例えば、所定の回転数を維持するように動作するエンジンである。エンジン11の出力軸はメインポンプ14及びパイロットポンプ15の入力軸に接続されている。
メインポンプ14は、作動油ラインを介して作動油をコントロールバルブ17に供給する斜板式可変容量型油圧ポンプである。パイロットポンプ15は、パイロットラインを介して各種油圧制御機器に作動油を供給する固定容量型油圧ポンプである。
コントロールバルブ17は、複数のバルブを含むバルブセットであり、ショベルにおける油圧システムを制御するために用いられる。コントロールバルブ17は、例えば、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、走行用油圧モータ、旋回用油圧モータ等の油圧アクチュエータのうちの一又は複数のものに対し、メインポンプ14から供給された作動油を選択的に供給する。
操作装置26は、操作者が油圧アクチュエータの操作のために用いる装置であり、パイロットライン25を通じてパイロットポンプ15から供給された作動油を、油圧アクチュエータのそれぞれに対応する流量制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力は、油圧アクチュエータのそれぞれに対応する操作装置26の操作方向及び操作量に応じた圧力に対応する。
コントローラ30は、上部旋回体3に搭載された蓄電池70(例えば、24Vバッテリ)の電力を利用して動作する。蓄電池70はエンジン11のオルタネータ11aで発電した電力で充電される。蓄電池70の電力は電装品72等にも供給される。エンジン11のスタータ11bは、蓄電池70からの電力で駆動されてエンジン11を始動させる。
エンジン11は、エンジン制御装置51aにより制御される。エンジン制御装置51aは、情報取得装置51の一例であり、エンジン11の状態を示す各種データをコントローラ30に送信する。各種データは、例えば、冷却水温、燃料噴射圧等に関するデータを含む。コントローラ30は揮発性記憶装置52にこれらのデータを蓄積しておき、必要に応じてこれらデータを外部に送信できる。
情報取得装置51は、レギュレータ51b、吐出圧センサ51c、油温センサ51d、操作圧センサ51e等を更に含む。レギュレータ51bは、メインポンプ14の斜板傾転角を示すデータをコントローラ30に対して出力する。吐出圧センサ51cは、メインポンプ14の吐出圧を示すデータをコントローラ30に対して出力する。油温センサ51dは、作動油タンクにおける作動油の温度を示すデータをコントローラ30に対して出力する。操作圧センサ51eは、操作装置26が操作されたときに生成されるパイロット圧を示すデータをコントローラ30に対して出力する。コントローラ30は揮発性記憶装置52にこれらのデータを蓄積しておき、必要に応じてこれらデータを外部に送信できる。
通信装置54は、ショベルと外部との通信を制御する。本実施形態では、通信装置54は、ショベルと管理装置90との間の通信、及び、ショベルと支援装置94との間の通信を制御する。
管理装置90は、ショベルの外部にある管理センタに設置されている装置であり、例えば、インターネット等のネットワークを通じて1又は複数台のショベルから送信されるデータを纏めて管理するデータ管理サーバである。
支援装置94は、ショベルの作業を支援するための装置である。本実施形態では、支援装置94は、ショベルの周囲にいる作業者が携帯する装置であり、Wi-Fi(登録商標)、Bluetooth(登録商標)等の無線通信を通じて近くのショベルから送信されるデータを受信可能な多機能型携帯情報端末である。
次に、コントローラ30が有する機能要素について説明する。本実施形態では、コントローラ30は、音声認識部30a及びデータ記憶部30bを有する。
音声認識部30aは、マイク61が出力する電気信号に音声認識処理を施し、操作者が発した言葉の内容を認識する。そして、その内容に関する情報をデータ記憶部30bに対して出力する。操作者が発した言葉(独り言)は、操作者が無意識に発した言葉であってもよく、意識的に発した言葉であってもよい。本実施形態では、音声認識部30aは、音声認識処理で得たデータが、不揮発性記憶媒体に記憶された辞書データベースに登録されている登録データと一致するか否かを判定する。音声認識処理では任意の音声認識エンジンが利用され得る。
音声認識部30aは音声認証を行ってもよい。この場合、音声認識部30aは、運転席に着座した作業者が登録済みの作業者であるか否かを判定し、登録済みの作業者であると判定した場合にショベルを起動させてもよい。そして、登録済みの作業者に適合する辞書データベースを利用してもよい。音声認識精度を高めるためである。また、声の大きさ、速度、イントネーション等に基づいて様々な推定を行ってもよい。様々な推定は、例えば、発話者である操作者の感情の推定を含む。感情の推定は、例えば、運転室10の内部を撮像するカメラが撮像した操作者(発話者)の画像を追加的に利用してもよい。操作者の感情は、例えば、操作者がショベルの動きに違和感を抱いているときの感情、操作者がショベルの動きに満足感を抱いているときの感情等を含む。
辞書データベースは、英語、中国語、日本語等の言語毎に用意されていてもよく、関西弁、東北弁等の方言毎に用意されていてもよい。辞書データベースの登録語(キーワード)は、ネガティブワードとポジティブワードとが区別されるように登録されていてもよい。ネガティブワードは、否定的な言葉を意味し、例えば、「遅い」、「悪い」、「鈍い」等を含む。ポジティブワードは、肯定的な言葉を意味し、例えば、「速い」、「良い」、「滑らか」等を含む。登録語は、ネガティブワードとポジティブワードとニュートラルワードとが区別されるように登録されていてもよい。ニュートラルワードは、ネガティブワードにもポジティブワードにも該当しない中立的な言葉を意味する。登録語は、4つ以上のカテゴリで区別されるように登録されていてもよい。
このように、音声認識部30aは、操作者が発した登録語、発話時刻、操作者の感情等の操作者の発話内容に関する情報をデータ記憶部30bに対して出力する。
データ記憶部30bは、不揮発性記憶装置53にデータを記憶する機能要素である。本実施形態では、音声認識部30aの出力に基づいて揮発性記憶装置52に記憶されたデータの一部を特定して不揮発性記憶装置53に記憶する。
例えば、データ記憶部30bは、音声認識部30aでネガティブワードが認識された場合に、その発話時点を基準時点として含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶する。揮発性記憶装置52に記憶されたデータは、例えば、情報取得装置51が出力したデータである。所定期間は、例えば、基準時点から所定時間(例えば数十秒間)だけ前の時点を始点とし、基準時点から所定時間(例えば数十秒間)だけ後の時点を終点とする。音声認識部30aでポジティブワードが認識された場合についても同様である。
データ記憶部30bは、ネガティブワードが認識された場合、及び、ポジティブワードが認識された場合のそれぞれで、その発話時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶してもよい。この場合、データ記憶部30bは、ネガティブワードが認識された場合に利用する不揮発性記憶装置53の記憶領域と、ポジティブワードが認識された場合に利用する不揮発性記憶装置53の記憶領域とを区別してもよい。或いは、ネガティブワードに関するデータとポジティブワードに関するデータとを後で区別できるよう、不揮発性記憶装置53に記憶されるデータに識別情報を付加してもよい。3つ以上のカテゴリで区別される場合についても同様である。
データ記憶部30bは、操作者がショベルの動きに違和感を抱いていると音声認識部30aが推定した場合に、その推定時点を基準時点として含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶してもよい。操作者がショベルの動きに満足感を抱いていると音声認識部30aが推定した場合についても同様である。
次に、図5を参照し、情報取得装置51が出力するデータをコントローラ30が不揮発性記憶装置53に記憶し且つ外部に送信する処理(以下、「データ送信処理」とする。)について説明する。図5は、データ送信処理の一例のフローチャートである。コントローラ30は、所定の制御周期毎に繰り返しこのデータ送信処理を実行する。
最初に、コントローラ30は、音声認識に関する所定条件が満たされたか否かを判定する(ステップST1)。本実施形態では、音声認識に関する所定条件は、音声認識部30aにより登録語が認識されたこと、操作者がショベルの動きに違和感を抱いていることが音声認識部30aにより推定されたこと等を含む。本実施形態では、音声認識処理は、ショベルの稼働中、継続的に実行されている。
音声認識に関する所定条件は、ショベルの状態に応じて変更されてもよい。ショベルの状態は、例えば、情報取得装置51の出力に基づいて決定される。コントローラ30は、例えば、掘削作業が行われているときに採用される辞書データベースと、クレーン作業が行われているときに採用される辞書データベースとを異ならせてもよい。音声認識エンジンについても同様である。
音声認識部30aは、ショベルの状態に応じて音声認識エンジンのパラメータを変更してもよい。例えば、バケット6が地面に接する時点等、作業者が違和感を抱き易いと推定される時点を含む期間で採用される音声サンプリングレートが高くなるようにしてもよい。登録語が発せられる可能性が高い期間の音声認識精度を高めるためである。
音声認識に関する所定条件が満たされたと判定した場合(ステップST1のYES)、コントローラ30は、不揮発性記憶装置53に記憶すべきデータの範囲を特定する(ステップST2)。データ記憶部30bは、例えば、音声認識部30aによりネガティブワードが認識された場合に音声認識に関する所定条件が満たされたと判定する。そして、そのネガティブワードの発話時点に基づき、不揮発性記憶装置53に記憶すべきデータの範囲を特定する。例えば、発話時点から所定時間だけ前の時点を始点とし、発話時点から所定時間だけ後の時点を終点とする期間中に揮発性記憶装置52に記憶されたデータの範囲を、不揮発性記憶装置53に記憶すべきデータの範囲として特定する。
その後、データ記憶部30bは、特定された範囲内のデータ(以下、「データセット」とする。)を不揮発性記憶装置53に記憶する(ステップST3)。例えば、揮発性記憶装置52に記憶されているデータを不揮発性記憶装置53に複製する。データ記憶部30bは、揮発性記憶装置52に記憶されているデータのうちの複製されたデータを消去してもよく、上書き可能としてもよい。
その後、コントローラ30は、所定の送信条件が満たされたか否かを判定する(ステップST4)。所定の送信条件は、不揮発性記憶装置53に記憶されたデータを外部に送信する際に満たされるべき条件であり、例えば、現在時刻が所定時刻になったこと、前回の送信時点からの経過時間が所定時間に達したこと、操作者の手動操作による送信指令を受けたこと等を含む。
音声認識に関する所定条件が満たされていないと判定した場合(ステップST1のNO)、コントローラ30は、揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶することなく、ステップST4の判定を実行する。
所定の送信条件が満たされたと判定した場合(ステップST4のYES)、コントローラ30は、不揮発性記憶装置53に記憶されたデータを外部に送信する(ステップST5)。本実施形態では、コントローラ30は、通信装置54を通じてデータを管理装置90に送信する。
このとき、コントローラ30は、不揮発性記憶装置53に記憶されたデータのうちの送信済みのデータを上書き可能な状態にしてもよく消去してもよい。
上述のデータ送信処理により、コントローラ30は、例えば、ネガティブワードが発せられた時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを管理装置90に送信できる。管理装置90は、受信したデータを表示部に表示させることで、受信したデータを管理者に提示できる。管理者は、表示されたデータを見ることで、ショベルの操作者がネガティブワードを発した原因を解析できる。支援装置94にデータを送信する場合も同様である。
上述のデータ送信処理では、コントローラ30は、音声認識に関する所定条件が満たされたか否かをリアルタイムで判定する。そして、その所定条件が満たされたと判定した場合に、揮発性記憶装置52に記憶されているデータをリアルタイムで不揮発性記憶装置53に記憶する。しかしながら、コントローラ30は、ステップST1の判定をバッチ処理で行ってもよい。例えば、ネガティブワードが発話された時点を記憶しておき、リングバッファの空き容量が所定容量以下となったときに、1又は複数の発話時点に関するデータ範囲を纏めて不揮発性記憶装置53に記憶してもよい。或いは、操作者の発話を所定期間に亘って継続的に録音しておき、リングバッファの空き容量が所定容量以下となったときに、ネガティブワードが発話された時点を纏めて検出し、その上で、1又は複数の発話時点に関するデータ範囲を纏めて不揮発性記憶装置53に記憶してもよい。
次に、図6を参照し、ショベルが送信するデータを受信した管理装置90の表示部に表示されるデータ表示画面について説明する。図6は、管理装置90の表示部に表示されるデータ表示画面の一例である。但し、データ表示画面は、表示装置40に表示されてもよく、支援装置94の表示部に表示されてもよい。
データ表示画面は、データ表示領域G1、記録日時表示領域G2、ワード分類表示領域G3、及び、トリガーワード表示領域G4を含む。
データ表示領域G1は、情報取得装置51が出力し且つ不揮発性記憶装置53に記憶されたデータを表示する領域である。図6の例では、データ表示領域G1は、12時3分30秒から12時6分00秒までの期間におけるデータセットの時間的推移(波形データ)を表示している。具体的には、作動油温、エンジン水温、燃料噴射圧、ポンプ吐出圧、及び、レバー入力の時間的推移を表示している。但し、データ表示画面で表示される波形データは、情報取得装置51が出力するデータに関するものであれば何れのデータに関するものであってもよい。例えば、エンジン回転数(設定値)、エンジン回転数(検出値)、シリンダ圧(ブームロッド圧、ブームボトム圧、アームロッド圧、アームボトム圧、バケットロッド圧、バケットボトム圧等の検出値)等に関する波形データであってもよい。
データ表示領域G1における黒い三角形の画像G11は、登録語が発せられた時点を表す。図6の例では、画像G11は、12時5分10秒の時点で登録語が発せられたことを表している。
記録日時表示領域G2は、記録日時を表示する領域である。図6の例では、記録日時表示領域G2は、2017年5月13日12時5分10秒に登録語が発せられたことを表している。
ワード分類表示領域G3は、発せられた登録語のカテゴリを表示する領域である。図6の例では、ワード分類表示領域G3は、発せられた登録語がネガティブワードであったことを表している。
トリガーワード表示領域G4は、実際に発せられた登録語の内容を表す領域である。図6の例では、トリガーワード表示領域G4は、ネガティブワードとして登録されている登録語「何、この音」が発せられたことを表している。
このように、データ表示画面は、何時の時点でどのような登録語が発せられたか、及び、その登録語が発せられた時点を含む所定期間における各種パラメータの時間的推移を管理者に提示できる。管理者は、このデータ表示画面を見て、ショベルの操作者がネガティブワードを発した理由を解析できる。
データ表示画面は、所定期間中にカメラが撮像した画像を表示するカメラ画像表示領域を含んでいてもよい。画像は、静止画像であってもよく、動画像であってもよい。
データ表示画面は、所定期間中の掘削アタッチメントの姿勢の推移を表すアニメーションを表示する姿勢表示領域を含んでいてもよい。アニメーションは、例えば、姿勢センサの出力に基づいて生成される。
データ表示画面は、所定期間中の作業内容の推移を表す作業内容表示領域を含んでいてもよい。作業内容表示領域には、例えば、作業内容を表すテキスト、アイコン等が表示される。作業内容は、例えば、作業内容検出センサの出力に基づいて決定される。
次に、図7を参照し、データ送信処理の別の一例について説明する。図7は、データ送信処理の別の一例のフローチャートである。図7のデータ送信処理は、ステップST3A及びステップST3Bを有する点で、図5のデータ送信処理と異なるが、その他の点で共通する。そのため、共通部分の説明を省略し、相違部分を詳説する。
ステップST3Aにおいて、コントローラ30は、所定のコメント入力条件が満たされたか否かを判定する。コメント入力条件は、不揮発性記憶装置53に記憶されたデータセットにコメントを付加する際に満たされるべき条件である。コメント入力条件は、例えば、ショベルが待機状態にあり、且つ、不揮発性記憶装置53にデータセットが記憶されている状態であり、且つ、コメントが未だ入力されていない状態であることを含む。待機状態は、操作装置26が操作されていないときの状態を意味する。コメント入力条件は、例えば、ショベルによる作業が終了したとき或いはショベルによる作業が中断されたときに満たされる。コメント入力条件は、所定のボタンが押下されたこと、マイク61を通じて所定の音声指令が入力されたこと、ゲートロックレバーがロック位置に操作されたこと等を追加的な条件としてもよい。ゲートロックレバーがロック位置にあるとき、操作装置26に対する操作は無効とされる。
コメント入力条件が満たされたと判定した場合(ステップST3AのYES)、コントローラ30は、コメント入力処理を実行する(ステップST3B)。本実施形態では、コントローラ30は、データセット毎にコメントが入力されるようにする。
コメント入力条件が満たされていないと判定した場合(ステップST3AのNO)、コントローラ30は、コメント入力処理を実行することなく、ステップST4の判定を実行する。
その後、所定の送信条件が満たされたと判定した場合(ステップST4のYES)、コントローラ30は、不揮発性記憶装置53に記憶されたデータを外部に送信する(ステップST5)。コントローラ30は、通信装置54を通じ、1又は複数のデータセットのうち、コメントが入力されたデータセットに関するデータを管理装置90に送信する。コメントが未だ入力されていないデータセットに関するデータを一緒に送信してもよい。
次に、図8及び図9を参照し、コメント入力処理の一例について説明する。図8は、コメント入力処理の一例のフローチャートである。図9は、コメント入力画面の一例を示す。図9(A)は、コメントが入力される前のコメント入力画面を示し、図9(B)はコメントが入力された後のコメント入力画面を示す。
最初に、コントローラ30は、コメント入力画面を表示する(ステップST11)。本実施形態では、図9(A)に示すようなコメント入力画面を表示装置40に表示する。コントローラ30は、例えば、コメント未入力のデータセットのうち発話時刻が最も古いデータセットに関するコメント入力画面を表示する。
図9(A)のコメント入力画面は、最下部にコメント表示領域G5とコメント入力ボタンG6を有する点で図5のデータ表示画面と異なるがその他の点で共通する。図9(A)の例では、コメント入力画面は、2017年5月13日の12時5分10秒に発せられたネガティブワードとしての登録語「あれ?」に関するデータの時間的推移を表示している。
コメント表示領域G5は、入力されたコメントをテキスト表示するための領域である。図9(A)の例では、コメント表示領域G5は、コメントが未入力であることを表すテキスト「※コメントを入力してください」を表示している。
このとき、コントローラ30は、表示装置40に付属しているスピーカから「コメントを入力してください」といった音声メッセージを出力してもよい。ショベルの操作者にコメントの入力を促すためである。
コメント入力ボタンG6は、マイク61によるコメント入力を開始させるためのソフトウェアボタンである。コメント入力ボタンG6がタッチ操作されると、コントローラ30は、所定期間にわたって音声・テキスト変換処理を実行する。音声・テキスト変換処理が実行されているときにマイク61を通じて入力された音声はテキストに変換され、且つ、コメント表示領域G5に表示される。このように、コントローラ30は、音声認識機能によるコメント入力を可能にすることで、操作者によるコメント入力作業の負担を軽減できる。
音声・テキスト変換処理を実行するコントローラ30は、表示装置40に付属しているスピーカから「どの動きに違和感を抱きましたか?」、「違和感を抱いたのはブームの動きですか?」といった音声メッセージを出力してもよい。ショベルの操作者が対話形式でコメントを入力できるようにするためである。
コントローラ30は、「コメント入力」等の所定の登録語が操作者によって発せられたときに、所定期間にわたって音声・テキスト変換処理を実行してもよい。この場合、操作者は、コメント入力ボタンG6をタッチ操作することなく、コメントを入力できる。
或いは、コントローラ30は、コメント入力ボタンG6がタッチ操作されたときに、キーボード画面等のテキスト入力画面を表示し、タッチ操作によるコメントの入力を操作者に促すようにしてもよい。或いは、コントローラ30は、コメント選択画面を表示し、操作者が複数の定型文から所望の定型文を選択できるようにしてもよい。
その後、コントローラ30は、コメント入力が完了したか否かを判定する(ステップST12)。コントローラ30は、例えば、コメントが入力され、且つ、音声・テキスト変換処理が終了した後で所定時間にわたってコメント入力ボタンG6のタッチ操作が行われなかった場合にコメント入力が完了したと判定する。「確定」等の所定の登録語が音声認識された場合にコメント入力が完了したと判定してもよい。
所定時間が経過する前にコメント入力ボタンG6がタッチ操作された場合には、音声・テキスト変換処理を再び実行する。このタッチ操作により、操作者は、コメントの入力をやり直すことができる。
コントローラ30は、入力されたコメントの内容をコメント表示領域G5に表示した後で、確定ボタンを表示させてもよい。この場合、確定ボタンがタッチ操作されたときに、コントローラ30は、コメント入力が完了したと判定する。
図9(B)は、「ブーム持上げ旋回時のブームの動きが遅い」というコメントが入力された後のコメント入力画面を示している。コメント表示領域G5には「ブーム持上げ旋回時のブームの動きが遅い」が表示されている。
コメント入力が完了したと判定すると(ステップST12のYES)、コントローラ30は、不揮発性記憶装置53に記憶されたデータセットにコメント情報を付加する(ステップST13)。コメント情報は、コメントに関する情報であり、コメント表示領域G5に表示したテキスト、録音された音声データの少なくとも1つを含む。
その後、コントローラ30は、発話時刻が次に古いデータセットに関する情報を読み出してステップST11〜ステップST13の処理を実行する。そして、コメント未入力のデータセットが無くなるまでこの処理を繰り返す。
上述のコメント入力処理により、コントローラ30は、例えば、データセットにコメント情報を付加して管理装置90に送信できる。管理装置90は、受信したデータをコメント情報と共に表示部に表示させることで、受信したデータをコメント情報と共に管理者に提示できる。管理者は、表示されたデータとコメント情報を見ることで、ショベルの操作者がネガティブワードを発した原因をより効率的に解析できる。支援装置94にデータを送信する場合も同様である。
コントローラ30は、コメント情報に基づいてデータセットを分類してもよい。例えば、コメント選択画面で選択された定型文の内容に基づき、ブームに関するデータセット、旋回に関するデータセットというようにデータセットを分類してもよい。
このように、本発明の実施形態に係るショベルのコントローラ30は、ショベルに搭載される情報取得装置51が出力するデータを揮発性記憶装置52に記憶し、且つ、マイク61の出力に基づき、揮発性記憶装置52に記憶されたデータの一部を特定して不揮発性記憶装置53に記憶する。そのため、ショベルに搭載された情報取得装置51が出力するデータをより効率的に記憶できる。例えば、ショベルの操作者がショベルの動きに違和感を抱いたときのデータを選択的に不揮発性記憶装置53に記憶できる。そして、不揮発性記憶装置53に記憶されたデータは、外部に送信され、且つ、詳細な解析の用に供される。その結果、管理センタにいる管理者は、ショベルの操作者がショベルの動きに違和感を抱いた原因を効率的に調べることができる。
具体的には、コントローラ30は、マイク61が採取した、ショベルの操作者の発話の内容、又は、その発話の内容から推定される操作者の感情等に基づき、揮発性記憶装置52に記憶されたデータの一部を特定して不揮発性記憶装置53に記憶する。そのため、操作者は、データを不揮発性記憶装置53に記憶するために、記憶開始ボタンの押下等の手動操作を行う必要はない。
また、コントローラ30は、望ましくは、情報取得装置51が所定周期毎に出力するデータを時系列的に揮発性記憶装置52に記憶しておき、マイク61の出力に基づいて基準時点を決定し、その基準時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶する。
具体的には、コントローラ30は、マイク61の出力に基づいてショベルの操作者の発話の内容が否定的であるか否かを判定し、否定的であると判定した場合、その発話が行われた時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶する。そのため、ショベルの動きに違和感を抱いた操作者が無意識に発した言葉を起点としてデータを収集できる。管理者は、それらのデータを解析することで、例えば、ショベルの不具合を早期に発見できる。
或いは、コントローラ30は、マイク61の出力に基づいてショベルの操作者の発話の内容が肯定的であるか否かを判定し、肯定的であると判定した場合、その発話が行われた時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶してもよい。この場合、ショベルの動きに満足感を抱いた操作者が無意識に発した言葉を起点としてデータを収集できる。管理者は、それらのデータを解析することで、例えば、ショベルの操作に関する潜在的なニーズ、潜在的なショベルの強み等を発見できる。
また、コントローラ30は、特定したデータに関するコメントの入力を促すコメント入力処理を実行し、そのコメント入力処理を通じて入力されたコメントに関する情報を、不揮発性記憶装置53に記憶されるデータに付加してもよい。このようなコメントを利用することで、管理者は、より効率的なデータ解析を行うことができる。
以上、本発明の好ましい実施形態が説明された。しかしながら、本発明は、上述した実施形態に限定されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、上述の実施形態を参照して説明された特徴のそれぞれは、技術的に矛盾しない限り、適宜に組み合わされてもよい。
例えば、上述の実施形態では、コントローラ30は、マイク61の出力に基づいて基準時点を決定し、基準時点を含む所定期間中に揮発性記憶装置52に記憶されたデータを不揮発性記憶装置53に記憶する。しかしながら、本発明は、この構成に限定されない。コントローラ30は、例えば、所定期間よりも短い間隔でネガティブワードが繰り返し発話された場合、最初のネガティブワードが発話された時点から所定時間(例えば数十秒間)だけ前の時点を始点とし、最後のネガティブワードが発話された時点から所定時間(例えば数十秒間)だけ後の時点を終点としてもよい。
1・・・下部走行体 2・・・旋回機構 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・運転室 11・・・エンジン 11a・・・オルタネータ 11b・・・スタータ 14・・・メインポンプ 15・・・パイロットポンプ 17・・・コントロールバルブ 25・・・パイロットライン 26・・・操作装置 30・・・コントローラ 30a・・・音声認識部 30b・・・データ記憶部 40・・・表示装置 51・・・情報取得装置 51a・・・エンジン制御装置 51b・・・レギュレータ 51c・・・吐出圧センサ 51d・・・油温センサ 51e・・・操作圧センサ 52・・・揮発性記憶装置 53・・・不揮発性記憶装置 54・・・通信装置 60・・・運転席 61・・・マイク 70・・・蓄電池 72・・・電装品 90・・・管理装置 94・・・支援装置

Claims (8)

  1. 下部走行体と、
    前記下部走行体に旋回可能に搭載された上部旋回体と、
    前記上部旋回体に搭載される運転室と、
    前記運転室内に設置されるマイクと、
    前記上部旋回体に搭載される揮発性記憶装置、不揮発性記憶装置及び制御装置と、を有するショベルであって、
    前記制御装置は、
    前記ショベルに搭載される情報取得装置が出力するデータを前記揮発性記憶装置に記憶し、且つ、
    前記マイクの出力に基づき、前記揮発性記憶装置に記憶されたデータの一部を特定して前記不揮発性記憶装置に記憶する、
    ショベル。
  2. 前記制御装置は、前記マイクが採取した、前記ショベルの操作者の発話の内容、又は、該発話の内容から推定される操作者の感情に基づき、前記揮発性記憶装置に記憶されたデータの一部を特定して前記不揮発性記憶装置に記憶する、
    請求項1に記載のショベル。
  3. 前記制御装置は、前記情報取得装置が所定周期毎に出力するデータを時系列的に前記揮発性記憶装置に記憶し、
    前記マイクの出力に基づいて基準時点を決定し、
    前記基準時点を含む所定期間中に前記揮発性記憶装置に記憶されたデータを前記不揮発性記憶装置に記憶する、
    請求項1又は2に記載のショベル。
  4. 前記制御装置は、前記マイクの出力に基づいて前記ショベルの操作者の発話の内容が否定的であるか否かを判定し、否定的であると判定した場合、該発話が行われた時点を含む所定期間中に前記揮発性記憶装置に記憶されたデータを前記不揮発性記憶装置に記憶する、
    請求項3に記載のショベル。
  5. 前記制御装置は、前記マイクの出力に基づいて前記ショベルの操作者の発話の内容が肯定的であるか否かを判定し、肯定的であると判定した場合、該発話が行われた時点を含む所定期間中に前記揮発性記憶装置に記憶されたデータを前記不揮発性記憶装置に記憶する、
    請求項3又は4に記載のショベル。
  6. 前記制御装置は、特定したデータに関するコメントの入力を促すコメント入力処理を実行し、該コメント入力処理を通じて入力されたコメントに関する情報を、前記不揮発性記憶装置に記憶されるデータに付加する、
    請求項1乃至5の何れかに記載のショベル。
  7. 下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、前記上部旋回体に搭載される運転室と、前記運転室内に設置されるマイクと、前記上部旋回体に搭載される揮発性記憶装置、不揮発性記憶装置、制御装置及び通信装置と、を有するショベルであり、前記制御装置が、前記ショベルに搭載される情報取得装置が出力するデータを前記揮発性記憶装置に記憶し、前記マイクの出力に基づき、前記揮発性記憶装置に記憶されたデータの一部を特定して前記不揮発性記憶装置に記憶し、且つ、前記通信装置を介し、前記不揮発性記憶装置に記憶されたデータを外部に送信するところのショベルに関するショベルの管理装置であって、
    前記ショベルが送信するデータを受信して表示する表示部と、を有する、
    ショベルの管理装置。
  8. 下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、前記上部旋回体に搭載される運転室と、前記運転室内に設置されるマイクと、前記上部旋回体に搭載される揮発性記憶装置、不揮発性記憶装置、制御装置及び通信装置と、を有するショベルであり、前記制御装置が、前記ショベルに搭載される情報取得装置が出力するデータを前記揮発性記憶装置に記憶し、前記マイクの出力に基づき、前記揮発性記憶装置に記憶されたデータの一部を特定して前記不揮発性記憶装置に記憶し、且つ、前記通信装置を介し、前記不揮発性記憶装置に記憶されたデータを外部に送信するところのショベルに関するショベルの支援装置であって、
    前記ショベルが送信するデータを受信して表示する表示部と、を有する、
    ショベルの支援装置。
JP2017126504A 2017-06-28 2017-06-28 ショベル、並びに、ショベルの管理装置及び支援装置 Active JP7297403B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017126504A JP7297403B2 (ja) 2017-06-28 2017-06-28 ショベル、並びに、ショベルの管理装置及び支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017126504A JP7297403B2 (ja) 2017-06-28 2017-06-28 ショベル、並びに、ショベルの管理装置及び支援装置

Publications (2)

Publication Number Publication Date
JP2019007308A true JP2019007308A (ja) 2019-01-17
JP7297403B2 JP7297403B2 (ja) 2023-06-26

Family

ID=65028534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126504A Active JP7297403B2 (ja) 2017-06-28 2017-06-28 ショベル、並びに、ショベルの管理装置及び支援装置

Country Status (1)

Country Link
JP (1) JP7297403B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023791A (ja) * 2000-07-06 2002-01-25 Shin Caterpillar Mitsubishi Ltd 建設機械における音声認識システム
JP2004149287A (ja) * 2002-10-31 2004-05-27 Toshiba Elevator Co Ltd エレベータの防犯システム
JP2008058039A (ja) * 2006-08-29 2008-03-13 Toyota Motor Corp 車載不満情報収集装置、情報収集センタ及び不満情報収集システム
JP2011179917A (ja) * 2010-02-26 2011-09-15 Pioneer Electronic Corp 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
JPWO2014013911A1 (ja) * 2012-07-19 2016-06-30 住友建機株式会社 ショベルの管理装置及び管理方法
US20170004830A1 (en) * 2015-07-01 2017-01-05 Kverneland Group Mechatronics B.V. Method for controlling operation of an agricultural machine and system thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5644915B2 (ja) 2013-08-13 2014-12-24 東京エレクトロン株式会社 塗布、現像装置、塗布、現像方法及び記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023791A (ja) * 2000-07-06 2002-01-25 Shin Caterpillar Mitsubishi Ltd 建設機械における音声認識システム
JP2004149287A (ja) * 2002-10-31 2004-05-27 Toshiba Elevator Co Ltd エレベータの防犯システム
JP2008058039A (ja) * 2006-08-29 2008-03-13 Toyota Motor Corp 車載不満情報収集装置、情報収集センタ及び不満情報収集システム
JP2011179917A (ja) * 2010-02-26 2011-09-15 Pioneer Electronic Corp 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
JPWO2014013911A1 (ja) * 2012-07-19 2016-06-30 住友建機株式会社 ショベルの管理装置及び管理方法
US20170004830A1 (en) * 2015-07-01 2017-01-05 Kverneland Group Mechatronics B.V. Method for controlling operation of an agricultural machine and system thereof

Also Published As

Publication number Publication date
JP7297403B2 (ja) 2023-06-26

Similar Documents

Publication Publication Date Title
US11566401B2 (en) Shovel and assist device to work together with shovel
JP6736492B2 (ja) ショベル
JP6615473B2 (ja) ショベル
JP6965160B2 (ja) ショベル
EP3879036A1 (en) Shovel, information processing device, information processing method, information processing program, terminal device, display method, and display program
JP6808377B2 (ja) ショベルの表示装置
US20220018096A1 (en) Shovel and construction system
CN110232910A (zh) 用于车辆中的语音检测的方言与语言识别
JP6911018B2 (ja) ショベル
WO2021054417A1 (ja) ショベル、ショベルの管理装置、ショベルの管理システム、ショベルの支援装置
JPWO2018155629A1 (ja) ショベル、ショベルの制御方法及び携帯情報端末
JP7275108B2 (ja) ショベル
JP7297403B2 (ja) ショベル、並びに、ショベルの管理装置及び支援装置
CN112888824A (zh) 挖土机的显示装置
JP2002023791A (ja) 建設機械における音声認識システム
CN114423906A (zh) 挖土机、挖土机的管理装置
JP2021155995A (ja) ショベルの支援装置、ショベルの管理装置
EP3922775B1 (en) Remote operation system and remote operation server
CN114423909B (zh) 挖土机
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
JP2023150920A (ja) 支援装置、作業機械、プログラム
JP2023034766A (ja) 建設機械の作業支援装置、建設機械の作業支援プログラム
JP2022146689A (ja) ショベル、ショベルの表示装置、ショベルの管理装置
KR20230163390A (ko) 쇼벨
JP2023177665A (ja) 遠隔操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211214

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211223

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220204

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220208

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220628

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220712

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R150 Certificate of patent or registration of utility model

Ref document number: 7297403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150