JP2002030696A - 建設機械における音声連動操作装置及び音声連動操作方法 - Google Patents

Abstract

(57)【要約】 【課題】 建設機械において、音声コマンドを音声コー
ド化して音声連動操作を実現し、かつ、操作者が所望の
音声コード名とその連動操作の組み合わせとを決定して
操作することにより、機体操作時の負担を軽減できるよ
うな、建設機械における音声連動操作装置及び音声連動
操作方法を提供する。 【解決手段】 音声連動操作装置２において、機体動作
に割り当てられた音声コードを音声認識しうる音声認識
手段２ａと、機体動作に関する指示を表すコマンドを音
声コードに対応づけて保持しうる保持手段２ｂと、音声
認識手段２ａと保持手段２ｂとに接続され、音声コード
に対応するコマンドにより機体動作の制御に関する識別
信号を出力しうる識別手段２ｃと、識別手段２ｃに接続
され、識別信号に基づき機体動作を制御しうる制御手段
２ｄとをそなえて構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば地面を掘削
する油圧ショベル等に用いて好適な、建設機械における
音声連動操作装置及び音声連動操作方法に関する。

【０００２】

【従来の技術】一般に油圧ショベル等の建設機械は、図
５に示すように、無限軌道部５００Ａを有する下部走行
体５００上に、運転操作室（キャビン）６００付きの上
部旋回体１００をそなえており、さらに、この上部旋回
体１００に、ブーム２００，スティック３００，バケッ
ト４００からなる関節式アーム機構を装備した構成とな
っている。

【０００３】そして、ブーム２００，スティック３０
０，バケット４００をそれぞれ油圧シリンダ１２０，１
２１，１２２により適宜駆動して、ブーム２００をａ，
ｂ方向に、スティック３００をｃ，ｄ方向に、バケット
４００をｅ，ｆ方向にそれぞれ作動させることができる
ようになっている。また、この油圧ショベルは、種々の
操作機器を有し、運転操作室６００には、ジョイスティ
ック（操作レバー）やペダル等の操作機材等の各種機材
が設けられている。

【０００４】さらに、作業の安全性を高めるために、オ
ペレータ（以下、操作者と称することがある）は、油圧
ショベルの操作中、常に機体動作指示を表す確認項目を
呼称するよう義務づけられている。この確認項目（以
下、呼称項目という）とは、例えば、「エンジン始
動」，「電気系統チェック」等であって、これらの呼称
項目がオペレータによって機体動作時に呼称されるので
ある。

【０００５】

【発明が解決しようとする課題】ところで、オペレータ
は、運転中に複雑な操作パネルを操作せざるを得ず、ま
た、モニタ画面を確認しなければならないので、長時間
の作業となると煩雑であり、オペレータに過度の負担を
強いるおそれがある。本発明は、このような課題に鑑み
創案されたもので、音声コマンドを音声コード化して音
声連動操作を実現し、かつ、オペレータが所望の音声コ
ード名とその連動操作の組み合わせとを対応付けて機体
を操作することにより、機体操作時の負担を軽減できる
ような、建設機械における音声連動操作装置及び音声連
動操作方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】このため、本発明の建設
機械における音声連動操作装置は、機体動作に割り当て
られた音声コードを音声認識しうる音声認識手段と、機
体動作に関する指示を表すコマンドを音声コードに対応
づけて保持しうる保持手段と、音声認識手段と保持手段
とに接続され、音声コードに対応するコマンドにより機
体動作の制御に関する識別信号を出力しうる識別手段
と、識別手段に接続され、識別信号に基づき機体動作を
制御しうる制御手段とをそなえて構成されたことを特徴
としている（請求項１）。

【０００７】また、保持手段は、機体動作が複数組み合
わせられた連動操作を、一種類の音声コードに割り当て
るように構成されてもよい（請求項２）。そして、本発
明の建設機械における音声連動操作方法は、機体動作に
割り当てられた音声コードを音声認識する音声認識ステ
ップと、音声認識ステップにて認識された音声コードに
対応した機体動作に関する指示を表すコマンドを識別す
る識別ステップと、識別ステップにて識別されたコマン
ドに基づき、機体動作を制御する制御ステップとをそな
えて構成されたことを特徴としている（請求項３）。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は本発明の一実施形態に係る
油圧ショベル（建設機械）の概略構成図である。この図
１に示す油圧ショベル８０（以下、単に機体と称するこ
とがある）は、左右に無限軌道部５００Ａを有する下部
走行体５００上に、運転操作室６００付き上部旋回体１
００が水平面内で回転自在に設けられている。

【０００９】そして、この上部旋回体１００に対して、
一端が回動可能に接続されるブーム２００が設けられ、
また、そのブーム２００に対して、一端が関節部２１を
介して回動可能に接続されるスティック３００が設けら
れている。さらに、そのスティック３００に対して、一
端が関節部２２を介して回動可能に接続され、先端が地
面を掘削し内部に土砂を収容可能なバケット４００が設
けられている。これらのブーム２００，スティック３０
０及びバケット４００により、関節式アーム機構が構成
されている。

【００１０】また、シリンダ式アクチュエータとして、
ブーム油圧シリンダ１２０，スティック油圧シリンダ１
２１，バケット油圧シリンダ１２２が設けられている。
なお、以下、ブーム油圧シリンダ１２０をシリンダ１２
０ということがあり、スティック油圧シリンダ１２１を
シリンダ１２１ということがあり、バケット油圧シリン
ダ１２２を単にシリンダ１２２ということがある。

【００１１】ここで、ブーム油圧シリンダ１２０は、そ
の一端が上部旋回体１００に対して回動可能に接続され
るとともに、他端がブーム２００に対して回動可能に接
続されている。すなわち、ブーム油圧シリンダ１２０
は、上部旋回体１００とブーム２００との間に介装され
て、端部間の距離が伸縮することにより、ブーム２００
を上部旋回体１００に対して回動させることができるよ
うになっている。

【００１２】また、スティック油圧シリンダ１２１は、
その一端がブーム２００に対して回動可能に接続される
とともに、他端がスティック３００に対して回動可能に
接続されている。すなわち、スティック油圧シリンダ１
２１は、ブーム２００とスティック３００との間に介装
されて、端部間の距離が伸縮することにより、スティッ
ク３００をブーム２００に対して回動させることができ
るものである。

【００１３】さらに、バケット油圧シリンダ１２２は、
その一端がスティック３００に対して回動可能に接続さ
れるとともに、他端がバケット４００に対して回動可能
に接続されている。すなわち、バケット油圧シリンダ１
２２は、スティック３００とバケット４００との間に介
装されて、端部間の距離が伸縮することにより、バケッ
ト４００をスティック３００に対して回動させることが
できるものである。なお、バケット油圧シリンダ１２２
の先端部には、リンク機構１３０が設けられている。

【００１４】このように、上記のシリンダ１２０〜１２
２を用いて伸縮動作を行なうことによりアーム機構を駆
動する複数のシリンダ式アクチュエータを有するシリン
ダ式アクチュエータ機構が構成されるのである。また、
図１に示す運転操作室６００内には、ジョイスティック
６，８，モニタ１０，キーパッド付き操作パネル（操作
パネルとも称する）６０，マイク６１，スピーカ６２等
が設けられている。

【００１５】ここで、ジョイスティック６は、スティッ
ク３００の位置調整及び上部旋回体１００の旋回に使用
されるものであり、ジョイスティック８は、ブーム２０
０及びバケット４００の位置調整をするためのものであ
る。これらジョイスティック６，８は、それぞれ、オペ
レータによって、前，後，中立又は左，右，中立に倒さ
れることによって、位置調整がなされるようになってい
る。

【００１６】そして、オペレータが調整したジョイステ
ィック６，８の位置が、それぞれ、後述する音声連動操
作制御装置２によって読み込まれる。これにより、例え
ば、ブーム２００を上下に動かしたり、スティック３０
０を内側に移動させたり（この動作をスティックインと
いう）又は外側に移動させたり（この動作をスティック
アウトという）、若しくは、バケット４００をすくう／
排土させたりするといった各種の動作がなされるのであ
る。

【００１７】加えて、モニタ１０は、作業状況等をモニ
タリングするものであり、主にエンジン回転速度や油温
等を表示するものである。さらに、操作パネル６０は、
オペレータが知りたい情報を表示させるために操作を行
なうものである。また、マイク６１は、音声を電気信号
に変えて音声連動操作制御装置２に入力するものであ
る。なお、マイク６１から出力される電気信号は、増幅
器(図示省略）を介して音声連動操作制御装置２に入力
され、後述するように音声認識処理が行なわれるように
なっている。さらに、スピーカ６２は、合成音声での報
知のほか、警告音の報知用として使用されるものであ
る。

【００１８】なお、図１には表示されないが、運転操作
室６００内には、走行ペダルが２本設けられている。こ
れら２本のうちの片方は、油圧ショベル８０を左方向に
前進させるためのものであり、もう一方は、油圧ショベ
ル８０を右方向に前進させるためのものである。さら
に、オペレータがこれらの走行ペダルをそれぞれ、同時
に踏み込むことにより、油圧ショベル８０が、正面に前
進（直進）するようになっている。

【００１９】また、同じく運転操作室６００には、エア
コン，ラジオ，ライト類，ワイパ等の各種補機と、これ
らの各種補機を操作する各種スイッチとがそれぞれ設け
られている。図２は本発明の一実施形態に係る油圧ショ
ベル８０の機能ブロックの概略図であり、操作部１６０
と、油圧回路７０とをそなえて構成されている。

【００２０】ここで、走行用油圧モータ１４０は、左右
の無限軌道部５００Ａをそれぞれ駆動するものであり、
旋回モータ１４１は、上部旋回体１００を旋回駆動する
ものである。また、油圧回路７０は、油圧（パイロット
油圧を含む）の状態を制御することにより、シリンダ１
２０〜１２２や走行用油圧モータ１４０や旋回モータ１
４１等を制御して、所望のモードでの制御を実行するも
のである。そして、油圧回路７０の油圧は、音声連動操
作装置２からの制御信号により、調整されるようになっ
ている。

【００２１】次に、操作部１６０は、オペレータにより
油圧ショベル８０を操作するものであって、運転操作室
６００（図１参照）に設けられているマイク６１等のほ
か、音声連動操作装置２をそなえて構成されている。な
お、この図２において、上述したものと同一の符号を有
するものは、同一のもの又は同一の機能を有するもので
あるので、更なる説明を省略する。

【００２２】そして、音声連動操作装置２は、音声コマ
ンドにより油圧ショベル８０を操作するものであって、
音声認識手段（音声認識部）２ａと、保持手段（保持
部）２ｂと、識別手段（識別部）２ｃと、制御手段（制
御部）２ｄと、入出力手段（入出力部）２ｅと、音声合
成手段（音声合成部）２ｆとをそなえて構成されてい
る。

【００２３】この音声認識手段２ａは、機体動作に割り
当てられた音声コードを音声認識しうるものであり、例
えばソフトウェア又はハードウェアによりこの機能は実
現される。また、保持手段２ｂは、機体動作に関する指
示を表すコマンドを音声コードに対応づけて保持しうる
ものであり、この機能は例えばメモリにより実現され
る。そして、この保持手段２ｂは、機体動作が複数組み
合わせられた連動操作を、一種類の音声コードに割り当
てるようになっている。

【００２４】ここで、コマンドと音声コードとについ
て、具体例を挙げて説明する。すなわち、コマンドと
は、機体動作に関する指示を表し、「ブーム上げ」，
「スティックイン」等であって、油圧ショベル８０の個
別の動作そのものに対応する。また、音声コードとは、
機体動作に割り当てられたものであり、「１」，「２」
等のオペレータが発声するものを意味する。そして、オ
ペレータは、「１」を「ブーム上げ」に割り当て、
「２」を「スティックイン」に割り当て、そして、これ
らの関係を、上記の保持手段２ｂに保持し登録するので
ある。

【００２５】加えて、保持手段２ｂは、音声コード「１
２」がコマンド「ブーム上げ・スティックイン」に対応
するように保持しており、これにより、オペレータが
「１２（いちに）」と発声すると、油圧ショベル８０が
「ブーム上げ」と「スティックイン」とを連動するので
ある。従って、オペレータは、「ブーム上げ」，「ステ
ィックイン」を２回発声せずに、音声コードを一種類の
み発声するだけでよく、機体の操作性が大幅に簡便化さ
れる。同様に、音声コード「排土」をコマンド「スティ
ックアウト・バケットオープン」と割り当てるようにし
て、簡便化することもできる。

【００２６】また、一種類の音声コード「掘削」を、コ
マンド「ブーム上げ・スティックイン・バケットクロー
ズ」と割り当てることにより、機体のブーム上げ，ステ
ィックイン，バケットクローズの３連動が実現される。
さらに、持ち上げ旋回という動作に対応した「ブーム上
げ・右旋回」の連動操作と、「ブーム上げ・スティック
イン・バケットクローズ」の連動動作とを組み合わせた
コマンドを、音声コード「ダンプ積み込み」に割り当て
ると、オペレータは「掘削」と発声するだけで、「ブー
ム上げ・右旋回・ブーム上げ・スティックイン・バケッ
トクローズ」の４連動が行なわれ、一連の作業が滞りな
く進むのである。

【００２７】このように、オペレータは、好きな名称で
所望の連動操作の組み合わせを作成できるため、オペレ
ータは使用頻度の高い連動組み合わせを指定でき、ま
た、覚え易い音声コードを保持するようにもできる。そ
して、図２において、識別手段２ｃは、音声認識手段２
ａと保持手段２ｂとに接続され、音声コードに対応する
コマンドにより機体動作の制御に関する識別信号を出力
しうるものであり、この機能は例えばソフトウェアによ
り実現される。さらに、制御手段２ｄは、識別手段２ｃ
に接続され、識別信号に基づき機体動作を制御しうるも
のであり、例えばソフトウェアにより実現される。

【００２８】また、連動操作における各シリンダ１２０
〜シリンダ１２２の操作量については、前もってオペレ
ータが操作して覚えさせる方法（ティーチング方法）
や、各シリンダ１２０〜シリンダ１２２のシリンダ負荷
圧・関節角度、目標掘削位置・掘削範囲、目標掘削量、
ダンプ位置等によって、最適な各シリンダ１２０〜シリ
ンダ１２２への流量配分と掘削位置からダンプ位置まで
の最適軌跡を算出する方法等で決定される。

【００２９】加えて、入出力手段２ｅは、モニタ１０，
ジョイスティック６，８等と、制御手段２ｄとに接続さ
れ、オペレータにより操作又は入力された信号を制御手
段２ｄ側に出力するとともに、制御手段２ｄから入力さ
れた信号に基づき上記の機器に出力するものである。ま
た、音声合成手段２ｆは、スピーカ６２と制御手段２ｄ
とに接続され、オペレータに対して合成音声を発生させ
るものである。

【００３０】これにより、本発明の建設機械における音
声連動操作方法は、まず、音声認識手段２ａにて、機体
動作に割り当てられた音声コードが音声認識される（音
声認識ステップ）。次に、識別手段２ｃにて、音声認識
ステップにて認識された音声コードに対応した機体動作
に関する指示を表すコマンドが識別され（識別ステッ
プ）、制御手段２ｄにて、識別ステップにて識別された
コマンドに基づき、機体動作が制御されるのである（制
御ステップ）。

【００３１】以下、上述のように構成された本発明の音
声連動操作装置２について、図３に示すフローチャート
を参照しながら詳述する。図３は本発明の一実施形態に
係る音声コマンドの音声コード化を説明するためのフロ
ーチャートである。予め、オペレータは、音声コマンド
の音声コード化を行なうために、例えば「１」を「ブー
ム上げ」に割り当て、「２」を「スティックイン」に割
り当てるよう対応付けた状態にて、保持手段２ｂに登録
する。なお、この図３において、油圧ショベル８０は、
機体と表示されている。

【００３２】まず、この図３に示すステップＡ１にて、
オペレータが「いち」と発声すると、ステップＡ１ａに
て、油圧ショベル８０はブーム上げを行なう。また、ス
テップＡ２にて、オペレータが「に」と発声すると、ス
テップＡ２ａにて、油圧ショベル８０はスティックイン
を行なう。そして、ステップＡ３にて、オペレータが
「いちに」と発声すると、ステップＡ３ａにて、油圧シ
ョベル８０はブーム上げとスティックインとの連動を行
なう。

【００３３】また、ステップＡ４にて、オペレータが
「掘削」と発声すると、ステップＡ４ａにて、油圧ショ
ベル８０はブーム下げ・スティックイン・バケットクロ
ーズの３連動を行なう。同様に、ステップＡ５にて、オ
ペレータが「ダンプ積み込み」と発声すると、ステップ
Ａ５ａにて、油圧ショベル８０は、掘削，持ち上げ旋
回，排土の一連のコマンドコードを実行する。これによ
り、一つの音声コードで油圧ショベル８０への動作指示
が可能となる。

【００３４】このように、オペレータは、「ダンプ積み
込み」の音声コードを発した後、オペレータは、各シリ
ンダ１２０〜シリンダ１２２の速度について、増減等の
微調整を行なうコマンドのみに集中でき、操作性が向上
する。なお、本実施形態による手法と比較するために、
機体動作に関する音声による指示を表す音声コマンドを
用いて制御を行なう手法について説明する。

【００３５】図４はこの音声コマンドによる機体制御動
作を説明するためのフローチャートである。この図４に
示すステップＲ１にて、オペレータが「ブーム下げ」と
発声すると、機体（油圧ショベル８０等）のブームが下
げられる（ステップＲ１ａ）。続いて、オペレータが
「スティックイン」と発声すると（ステップＲ２）、機
体はスティックインを行ない（ステップＲ２ａ）、オペ
レータが「バケットクローズ」と発声すると（ステップ
Ｒ３）、機体はバケットクローズを行なう（ステップＲ
３ａ）。また、ステップＲ４にて、オペレータが「ブー
ム下げ・スティックイン・バケットクローズ連動操作」
と発声すると、機体は、ブーム下げとスティックインと
バケットクローズとの３動作を連動して行なう（ステッ
プＲ４ａ）。

【００３６】しかしながら、この図４に示す制御フロー
によると、オペレータは、油圧ショベル８０の個別動作
を組み合わせた連動操作を行なうことが困難である。ま
た、音声コマンドにより操作するために、各個別動作に
対応した音声コマンドを同時に発声することができな
い。すなわち、音声連動操作装置２への音声コマンド入
力が、発声した順番通りにならざるをえないので、機体
の挙動が遅れてしまう。

【００３７】また、機体を連動操作させるためには、オ
ペレータは、「ブーム上げ」や「スティックイン」等の
機体の各動作に応じた音声コマンドを操作の度に発声す
る必要があり、加えて、オペレータは、「ブーム上げ・
スティックイン・バケットクローズ」等の長い音声コマ
ンドを発声する必要がある。従って、オペレータにかか
る負担が大きくなり、機体操作の安全性が損なわれるお
それがある。

【００３８】これに対して、本実施形態による手法によ
れば、オペレータの好みに応じてコマンドの音声コード
化を実現することができ、好きな名称で所望の連動操作
の組み合わせを作成できる。なお、本発明は上述した実
施態様に限定されるものではなく、本発明の趣旨を逸脱
しない範囲で、種々変形して実施することができる。

【００３９】本発明は、上記の油圧ショベル８０に限定
されず、その他、例えば、両手を運転操作のために使用
するような建設機械に対しても適用可能である。

【００４０】

【発明の効果】以上詳述したように、本発明の建設機械
における音声連動操作装置によれば、機体動作に割り当
てられた音声コードを音声認識しうる音声認識手段と、
機体動作に関する指示を表すコマンドを音声コードに対
応づけて保持しうる保持手段と、音声認識手段と保持手
段とに接続され、音声コードに対応するコマンドにより
機体動作の制御に関する識別信号を出力しうる識別手段
と、識別手段に接続され、識別信号に基づき機体動作を
制御しうる制御手段とをそなえて構成されているので、
操作パネルによる手動操作を不要として音声コマンドに
よる入力を行なえて、オペレータに過度の負担を強いる
ことなく、建設機械の作業効率の向上に大いに寄与しう
る利点がある。また、オペレータは好きな名称で所望の
連動操作の組み合わせを作成できるため、オペレータは
使用頻度の高い連動組み合わせを指定でき、覚え易い音
声コードで機体を操作できる。その結果、オペレータ
は、簡単に連動操作を行なえて安全性が向上する利点が
ある（請求項１）。

【００４１】また、保持手段は、機体動作が複数組み合
わせられた連動操作を、一種類の音声コードに割り当て
るように構成されてもよく、このようにすれば、音声コ
ード化により、操作の度に「ブーム上げ」等の長い音声
コマンドを複数回数発声する必要がなくなり、オペレー
タは、発声負担が軽減され運転操作に集中できる利点が
ある（請求項２）。

【００４２】そして、本発明の建設機械における音声連
動操作方法によれば、機体動作に割り当てられた音声コ
ードを音声認識する音声認識ステップと、音声認識ステ
ップにて認識された音声コードに対応する機体動作に関
する指示を表すコマンドを識別する識別ステップと、識
別ステップにて識別されたコマンドに基づき、機体動作
を制御する制御ステップとをそなえて構成されているの
で、オペレータは「ダンプ積み込み」の音声コマンドを
発声した後に、各シリンダ速度について、増減等の微調
整を行なうコマンドのみに集中でき、やはり、操作性及
び安全性が向上する利点がある（請求項３）。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る油圧ショベルの概略
構成図である。

【図２】本発明の一実施形態に係る音声連動操作装置の
機能ブロック図である。

【図３】本発明の一実施形態に係る音声コマンドの音声
コード化を説明するためのフローチャートである。

【図４】音声コマンドによる機体制御動作を説明するた
めのフローチャートである。

【図５】一般的な建設機械を示す斜視図である。

【符号の説明】

２ 音声連動操作装置 ２ａ 音声認識手段 ２ｂ 保持手段 ２ｃ 識別手段 ２ｄ 制御手段 ２ｅ 入出力手段 ２ｆ 音声合成手段 ６，８ ジョイスティック １０ モニタ ２１，２２ 関節部 ６０ キーパッド付き操作パネル ６１ マイク ６２ スピーカ ７０ 油圧回路 ８０ 油圧ショベル １００ 上部旋回体 １２０ ブーム油圧シリンダ １２１ スティック油圧シリンダ １２２ バケット油圧シリンダ １３０ リンク機構 １４０ 走行用油圧モータ １４１ 旋回モータ １６０ 操作部 ２００ ブーム ３００ スティック ４００ バケット ５００ 下部走行体 ５００Ａ 無限軌道手段 ６００ 運転操作室

Claims (3)

【特許請求の範囲】
1. 【請求項１】 機体動作に割り当てられた音声コードを
   音声認識しうる音声認識手段と、 該機体動作に関する指示を表すコマンドを該音声コード
   に対応づけて保持しうる保持手段と、 該音声認識手段と該保持手段とに接続され、該音声コー
   ドに対応する該コマンドにより該機体動作の制御に関す
   る識別信号を出力しうる識別手段と、 該識別手段に接続され、該識別信号に基づき該機体動作
   を制御しうる制御手段とをそなえて構成されたことを特
   徴とする、建設機械における音声連動操作装置。
2. 【請求項２】 該保持手段が、 該機体動作が複数組み合わせられた連動操作を、一種類
   の音声コードに割り当てるように構成されたことを特徴
   とする、請求項１記載の建設機械における音声連動操作
   装置。
3. 【請求項３】 機体動作に割り当てられた音声コードを
   音声認識する音声認識ステップと、 該音声認識ステップにて認識された該音声コードに対応
   した該機体動作に関する指示を表すコマンドを識別する
   識別ステップと、 該識別ステップにて識別された該コマンドに基づき、該
   機体動作を制御する制御ステップとをそなえて構成され
   たことを特徴とする、建設機械における音声連動操作方
   法。