JP2022006751A - 作業機械、作業支援システム - Google Patents

Abstract

【課題】操作レバーの交換が容易で、キャブ内のレイアウト性を向上させることができる作業機械を提供する。【解決手段】本発明の作業機械４０は、オペレータＯＰが操作する左側操作レバー４１１２と、左側操作レバー４１１２のマーカＭの有無、又はマーカＭまでの距離を認識し、認識情報を送信する認識装置４１４と、認識情報に基づいて作業機械４０を駆動させる実機制御装置４００を備えている。【選択図】図２Ａ

Description

本発明は、作業者が操作する操作レバーを備えた作業機械、当該作業機械による作業を支援する作業支援システムに関する。

従来、キャブ内に設けられた操作レバーに、様々な機能を持たせた作業機械が知られている。例えば、下記の特許文献１のショベルは、誤操作による事故を防止するため、条件によってアクチュエータの動きを制限する制御装置が取り付けられている。

コントローラ（制御装置）は、画像認識技術により撮像装置により撮像した画像に、操作者が操作装置を操作している様子が映っているか否かを判定する。そして、コントローラは、操作装置が操作者により操作されていないと判定した場合、操作装置の制限状態を維持する（段落００４７，００５６、図５）。

国際公開第２０１９／０３９５２２号

このような操作レバーの機能は作業機械の安全性向上に役立つが、操作レバーの配線が多くなるため、キャブ内のレイアウト自由度が低下し、スペースが狭くなるという問題があった。

また、操作者や作業環境に応じた操作し易いレバー形状、操作に対応した作業機械の動作パターンがあるが、配線が多くなることで操作レバーの交換、動作パターンの変更が困難になっていた。

本発明は、上述の点に鑑みてなされたものであり、操作レバーの交換が容易で、キャブ内のレイアウト性を向上させることができる作業機械及び作業支援システムを提供することを目的とする。

第１発明の作業機械は、作業者が作業機械を操作するための操作レバーと、前記操作レバーの所定部位に設けられたマーカと、前記マーカの有無又は当該マーカまでの距離を認識する認識装置と、前記認識装置から送信された認識情報に基づいて、前記作業機械を駆動させる制御装置と、を備えていることを特徴とする。

本発明では、作業者が作業機械の操作レバーを操作するとき、認識装置が操作レバーの所定部位に設けられたマーカの有無又は当該マーカまでの距離を認識する。制御装置は、このとき認識装置から送信される認識情報に基づいて、作業機械を駆動させる。

当該認識情報に応じて作業機械の動作パターンを予め定めておくこくことで、操作レバーは、制御装置と接続する配線が不要となるため、運転室内にスペースが生まれ、レイアウト性を向上させることができる。また、配線がないことから操作レバーの交換も容易となり、作業者の好み操作レバーを使用することができる。

第１発明の作業機械において、前記認識装置は、測距センサであることが好ましい。

この構成によれば、測距センサが操作レバーのマーカとの距離を測定し、制御装置に認識情報を送信する。これにより、作業者は、配線不要の操作レバーにより作業機械を操作することができる。

また、第１発明の作業機械において、前記認識装置は、撮像センサであり、前記撮像センサは、前記マーカが撮像可能な位置に少なくとも１つ以上設けられていることが好ましい。

この構成によれば、少なくとも１つ以上の撮像センサが操作レバーのマーカを撮像して、制御装置に認識情報を送信する。これによっても、作業者は、配線不要の操作レバーより作業機械を操作することができる。

また、第１発明の作業機械において、前記制御装置に対して前記作業機械の制御を許可する安全装置を備え、前記安全装置は、前記認識情報に基づいて前記操作レバーの特定範囲における作業者の指の有無を判定し、前記作業者の指を認識した場合には所定の許可信号を出力し、前記作業者の指を認識しなかった場合には前記許可信号を出力しないことが好ましい。

この構成によれば、操作レバーに物理的なスイッチを設けていなくても、安全装置が、特定範囲に作業者の指があると認識すれば、当該スイッチの操作に相当する所定の許可信号を制御装置に出力することができる。操作レバーの任意の位置に操作機能を割り当てることができるため、操作レバーの形状の自由度を高めることができる。

また、第１発明の作業機械において、前記操作レバーは、前記安全装置が特定の位置に作業者の指の有無を判定する判定用マーカを有し、前記安全装置は、前記判定用マーカが前記指で隠れている場合には前記許可信号を出力し、前記判定用マーカが前記指で隠れていない場合には前記許可信号を出力しないことが好ましい。

安全装置は、作業者の指により判定用マーカが隠れているか否かを判定し、当該判定用マーカが隠れている場合に所定の許可信号を出力する。これにより、操作の有無を判断する精度を向上させることができる。

また、第１発明の作業機械において、前記操作レバーは、操作されたときに抵抗力が生じる抵抗力発生機構を備えていることが好ましい。

作業者は、抵抗力発生機構によって、操作レバーを操作した際に抵抗力を感じるようになっているので、操作レバーを所定の位置に保持することが容易となる。

また、第１発明の作業機械において、前記操作レバーは、操作されていないときに中立位置に復帰する中立位置復帰機構を備えていることが好ましい。

操作レバーは、中立位置復帰機構によって、操作されていないときに中立位置に復帰するようになっているので、意図せず操作レバーが操作されたと判定され、作業機械が作動してしまうことを防止することができる。

また、第１発明の作業機械において、前記操作レバーが基部と両軸の接続部とを中心に動く二軸構造である場合に、作業者が把持する軸の所定部位及び前記接続部にそれぞれ前記マーカを有していることが好ましい。

二軸構造の操作レバーの場合、作業者が把持し、操作の際に位置が移動する軸の所定部位（例えば、先端部）、及び両軸の接続部のそれぞれにマーカが設けられる。これにより、各マーカと認識装置との距離の関係を作業機械の動作に結び付けて、作業機械を操作することができる。

第２発明は、作業者の操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように前記操作対象の作業機械による作業を支援する遠隔操作装置と、前記遠隔操作装置と通信可能に接続されたサーバと、からなる作業支援システムであって、前記遠隔操作装置は、前記作業者が前記作業機械を操作するための操作レバーと、前記操作レバーの所定部位に設けられたマーカと、前記マーカの有無又は当該マーカまでの距離を認識する認識部と、前記認識部によって認識された認識情報に基づいて、前記マーカに関するマーカ情報を抽出する制御部と、前記サーバ及び作業機械と通信を行う通信部と、を備え、前記遠隔操作装置の前記通信部は、前記マーカ情報を前記サーバに送信し、前記サーバは、少なくとも前記マーカ情報と前記操作レバーの所定の作動軸に対する操作量と指令値との関係と、前記操作レバーに設定された特定の機能情報とを記憶する記憶部と、前記マーカ情報に対応する前記機能情報を前記遠隔操作装置に送信する通信部と、を備え、前記遠隔操作装置の前記制御部は、前記サーバから送信された前記機能情報に基づいて、前記認識部によって認識された認識情報から抽出した操作量又は操作状態に応じた操作指令を前記作業機械に送信することを特徴とする。

第２発明の作業支援システムは、操作対象の作業機械による作業を支援する遠隔操作装置と、当該遠隔操作装置と通信可能に接続されたサーバとで構成されている。遠隔操作装置の操作レバーは所定部位にマーカが設けられ、認識部が当該マーカの有無又は当該マーカまでの距離を認識する。また、遠隔操作装置の制御部は、当該マーカの色、形状等に紐付けして、操作レバーの特性を記憶したマーカ情報を抽出する。

当該マーカ情報は、遠隔操作装置の通信部からサーバに送信されると、当該サーバの通信部は、前記マーカ情報に対応する操作レバーの機能情報を遠隔操作装置に返す。そして、遠隔操作装置の制御部は、当該機能情報に基づいて当該認識情報から抽出した操作量又は操作状態に応じた操作指令を作業機械に送信して、作業機械を制御する。

第２発明によれば、操作レバーを変更してもキャリブレーションを必要としないため、操作レバーの変更が容易になる。また、操作対象の作業機械の特性に応じて操作レバーを変更することができるので、操作の効率化を図ることができる。

本発明の第１実施形態に係る作業機械を説明する図。 作業機械の操作機構の構成を説明する図。 （ａ）左側操作レバーの拡大図（マーカ）。（ｂ）左側操作レバーの拡大図。 走行レバーの拡大図。 作業機械の実機油圧機構を説明する図。 左側操作レバーと撮像センサを説明する図。 二軸型操作レバーと測距センサを説明する図。 本発明の第２実施形態に係る作業支援システムを説明する図。 遠隔操作装置で実行される制御フローチャート。 マーカ情報とレバー特性の関係の一覧表。 遠隔操作装置の操作レバーの拡大図。

以下では、図面を参照しながら、本発明の作業機械、作業支援サーバの実施形態を説明する。

［第１実施形態］
まず、図１を参照して、本発明の第１実施形態に係る作業機械４０について説明する。

作業機械４０は、例えばクローラショベルであり、クローラ式の下部走行体４２７と、下部走行体４２７に旋回機構４３０を介して旋回可能に搭載された上部旋回体４３５とを備えている。また、上部旋回体４３５の前方左側部にはキャブ（運転室）４２５が設けられ、上部旋回体４３５の前方中央部には作動機構４４０が設けられている。

この作業機械４０は、主に実機制御装置４００と、実機入力インターフェース４１０と、作動機構（作業アタッチメント）４４０と、安全装置４５０とで構成されている。

実機制御装置４００（本発明の「制御装置」）は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

実機入力インターフェース４１０は、実機操作機構４１１と、認識装置４１４とを備えている。実機操作機構４１１は、キャブ４２５内の着座シートの周囲に配置された、複数の操作レバーで構成される。実機操作機構４１１は、具体的には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とからなり、各操作装置は、回動操作を受ける操作レバーを有している。

走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４２７を動作させるために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部又は下端部に固定された走行ペダルが設けられていてもよい。

旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動作させるために用いる。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動作させるために用いる。

また、アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動作させるために用い、バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動作させるために用いる。

認識装置４１４は、キャブ４２５内に設備されており、操作レバーの所定部位に設けられたマーカの有無、又は当該マーカまでの距離を認識可能なセンサである。認識装置４１４は、例えば測距（ＴＯＦ：Time Of Flight）センサであるが、非接触で距離を測定することができれば、近接センサでもよいし、ステレオカメラ、可視光カメラ等の撮像センサでもよい。なお、認識装置４１４は、キャブ４２５内にオペレータ（作業者）が存在するか否かの検出にも用いられる。

作動機構（作業アタッチメント）４４０は、上部旋回体４３５に装着されたブーム４４１と、ブーム４４１の先端部に回動可能に連結されたアーム４４３と、アーム４４３の先端部に回動可能に連結されたバケット４４５とを備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されたブームシリンダ４４２、アームシリンダ４４４及びバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮して、ブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４３５との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮して、アーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。

また、バケットシリンダ４４６は、作動油の供給を受けることにより伸縮して、バケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

安全装置４５０は、オペレータが操作レバーを把持していると確認されたとき、ブームシリンダ４４２、アームシリンダ４４４、バケットシリンダ４４６等の油圧機構の駆動を許可する装置である。安全装置４５０は、認識装置４１４から送信された認識情報から操作レバーの特定範囲にオペレータの指の有無を判定して、オペレータの指が存在する場合に実機制御装置４００に許可信号を出力する。

例えば、認識装置４１４として撮像センサを用いた場合、安全装置４５０は、認識情報としての画像データを解析してオペレータの指の有無、すなわちオペレータが操作しているか否かを判定する。また、安全装置４５０は、オペレータの指が存在しない場合には、当該許可信号を出力しない。安全装置４５０が実機制御装置４００に許可信号を送信した後、作業機械４０の駆動が開始するので、作業機械４０が意図しない動作を引き起こす可能性を低減することができる。

次に、図２Ａ～図２Ｃを参照して、実機操作機構４１１を構成する各操作レバー、オペレータが着座するためのシートの一例等を説明する。

図２Ａに示すシートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、又は背もたれがないチェアのような形態等、オペレータＯＰが着座できる任意の形態であってもよい。

シートＳｔの前方には、左右のクローラに応じた左右一対の走行レバー４１１０が配置されている。シートＳｔの右側フレームの前方に設けられている右側操作レバー（図示省略）が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。

同様に、シートＳｔの左側フレームの前方に設けられている左側操作レバー４１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータＯＰの操作によって任意に変更されてもよい。

認識装置４１４は、キャブ４２５内上方の、操作レバー（走行レバー４１１０、左側操作レバー４１１２等）が認識可能な位置に取り付けられている。以下では、オペレータＯＰが左側操作レバー４１１２を操作する場合を例に説明する。

左側操作レバー４１１２は、その先端部にマーカＭ１を有している。認識装置４１４は、マーカＭ１の有無又は認識装置４１４とマーカＭ１との距離を認識することができる。

認識装置４１４は、オペレータＯＰが左側操作レバー４１１２を操作しているとき、マーカＭ１の動き（左側操作レバー４１１２の傾斜状態）をとらえて認識装置４１４とマーカＭ１との三次元空間の距離を測定し、その情報（認識情報）を実機制御装置４００に送信する。これにより、左側操作レバー４１１２の動きを作業機械４０の動作に反映させていく。

認識装置４１４から送信される認識情報は、実機制御装置４００から操作指令として実機油圧機構４４８に送信される。また、安全装置４５０は、オペレータＯＰが左側操作レバー４１１２を操作していることを確認したとき、実機制御装置４００に許可信号を送信する。

左側操作レバー４１１２の操作パターンに関しては、キャリブレーションを行うことで、任意の操作パターンの設定を行う。また、操作レバー自体を変更する際には、新たな操作レバーにマーカを取り付けてキャリブレーションを行うことにより、レバー形状及び操作パターンを変更することができる。

このような配線不要の操作レバーとすることで、操作レバーの交換が容易になる。これにより、作業環境やオペレータＯＰに合わせて最適な操作レバーを採用することができ、作業効率や安全性の向上につなげることができる。また、作業内容に応じて適切な操作レバーを選択し、迅速に交換することもできるため、レバー形状や操作パターンが異なる作業機械を複数所有する必要がなくなる。

図２Ｂは、左側操作レバー４１１２の拡大図を示している。図２Ｂ（ａ）に示すように、左側操作レバー４１１２の先端部（上面）には、マーカＭ１と判定用マーカＮが設けられている。マーカＭ１は凸状であり、オペレータＯＰの指が掛からない位置にあるため、常に認識装置４１４が認識することができる。一方、判定用マーカＮは、オペレータＯＰが操作レバーを把持していることを判定するための平面状のマーカである。

図２Ｂ（ｂ）に示すように、判定用マーカＮは、操作時にオペレータＯＰが親指を乗せると隠れる（認識装置４１４で検出されない）位置、すなわち、左側操作レバー４１１２上面の一領域に配置され、検出の有無は物理スイッチのオン、オフの代わりとなる。認識装置４１４は、判定用マーカＮが隠れている場合、オペレータＯＰの指が存在するとして、安全装置４５０に許可信号を出力する。

一方、認識装置４１４は、判定用マーカＮが隠れていない（認識装置４１４で検出されている）場合、オペレータＯＰの指が存在しないとして当該許可信号を出力しない。判定用マーカＮは円形に限られず、認識装置４１４で検出される大きさがあれば、色や形状は任意である。

図２Ｃは、走行レバー４１１０の拡大図を示している。走行レバー４１１０については、その先端部（上面）のオペレータＯＰの指が掛からない位置にマーカＭ２が設けられている。マーカＭ２は円形の形状に限られず、認識装置４１４で検出される大きさがあれば、色や形状、凸状か否かは任意である。

走行レバー４１１０及び左側操作レバー４１１２は、それぞれ抵抗力発生機構及び中立位置復帰機構を備えている。抵抗力発生機構は、操作レバーを倒すことにより、オペレータＯＰが反力（抵抗力）を感じる機構であり、操作レバーを所定の位置に保持することが容易になるという効果が期待できる。

また、中立位置復帰機構は、オペレータＯＰが操作レバーを操作していないときに、操作レバーを中立位置（作動角度０°の位置）に復帰する機構であり、意図せず操作レバーが操作されたと判定され、作業機械４０が作動してしまうことを防止する効果が期待できる。

次に、図３を参照して、作業機械４０の実機油圧機構４４８を構成する機器及び油圧回路について説明する。

作業機械４０の実機油圧機構４４８は、油圧シリンダ４４８１と、油圧モータ４４８２と、制御弁４４８３と、可変容量ポンプ４４８４と、エンジン４４８５と、パイロットギヤポンプ４４８６と、電磁比例弁４４８７と、実機制御装置４００とで構成されている。

油圧アクチュエータの１つである油圧シリンダ４４８１には、作業機械４０を作動させるためのブームシリンダ４４２、アームシリンダ４４４及びバケットシリンダ４４６が含まれる。また、同じく油圧アクチュエータの１つである油圧モータ４４８２には、走行を行うための左右走行モータ及び上部旋回体４３５を動作させるための旋回モータが含まれる。

制御弁４４８３には、油圧シリンダ４４８１を制御する制御弁４４８３ａと、油圧モータ４４８２を制御する制御弁４４８３ｂとが含まれる。制御弁４４８３ａ及び制御弁４４８３ｂは、それぞれ油圧アクチュエータ（油圧シリンダ４４８１、油圧モータ４４８２）と可変容量ポンプ４４８４とを接続する油通路に配置されている。

制御弁４４８３は、油圧アクチュエータに対して可変容量ポンプ４４８４が吐出した圧油の供給量、及び油圧アクチュエータの作動方向を制御する。また、制御弁４４８３は、電磁比例弁４４８７から出力される圧力に応じて弁の開度、接続する油通路が変化する。

可変容量ポンプ４４８４はエンジン４４８５によって駆動され、上記油圧アクチュエータを作動させるための圧油を供給する。また、可変容量ポンプ４４８４は、ポンプの容量を可変させる機構を備えており、電磁比例弁４４８７から出力される圧力に応じてポンプ容量が可変する。

パイロットギヤポンプ４４８６はエンジン４４８５によって駆動され、電磁比例弁４４８７が出力する圧力の圧源となる圧油を供給する。電磁比例弁４４８７は、実機制御装置４００から入力される電流に応じて、パイロットギヤポンプ４４８６から供給される圧力を減圧し、出力する。

実機制御装置４００は、認識装置４１４及び安全装置４５０からの入力信号に基づいて電磁比例弁４４８７に電流を出力することで、可変容量ポンプ４４８４及び制御弁４４８３を制御し、油圧アクチュエータの作動を制御する。

次に、図４、図５を参照して、操作レバーに設けられたマーカの具体例を説明する。

図４は、左側操作レバー４１１２（一軸型）と撮像センサ４１５Ａ，４１５Ｂの例を示している。

左側操作レバー４１１２は、その先端部にマーカＭ１を備えている。マーカＭ１は、撮像センサ４１５Ａ，４１５Ｂで認識し易いサイズ、色の平面形状又は立体形状を有する。マーカＭ１の配置は、オペレータＯＰによる操作中及び操作前後に撮像センサ４１５Ａ，４１５Ｂが認識可能な位置であればよい。

図示するように、左側操作レバー４１１２の操作時にマーカＭ１が隠れてしまうことを防止するため、複数台の撮像センサ４１５Ａ，４１５Ｂを設置してマーカＭ１を検知することが好ましい。また、２つの撮像センサ４１５Ａ，４１５Ｂを用いることで、マーカＭ１までの三次元距離を正確に測定することができる。

撮像センサ４１５Ａ，４１５Ｂから得られる認識情報（画像データ）によれば、オペレータＯＰが左側操作レバー４１１２を把持しているか否かが分かる。作業機械４０の安全装置４５０は、オペレータＯＰが左側操作レバー４１１２を把持していると判定したとき、実機油圧機構４４８（図２参照）の駆動を許可する。これにより、作業機械４０が意図しない動作を引き起こす可能性を低減することができる。

また、図５は、二軸を有する二軸型操作レバー４１１５と測距センサ４１６の例を示している。

二軸型操作レバー４１１５は、基部に近い第１軸４１１５ａと、把持部を有する第２軸４１１５ｂと、第１軸４１１５ａと第２軸４１１５ｂとを変位可能に接続する接続部４１１５ｃとで構成されている。

ここで、接続部４１１５ｃはマーカＭ３を有し、第２軸４１１５ｂはマーカＭ４を有している。測距センサ４１６は、二軸型操作レバー４１１５のマーカＭ３、マーカＭ４までの距離をそれぞれ計測し、二軸型操作レバー４１１５の動きを捉える。

この場合も、測距センサ４１６を複数用意して、一方がマーカＭ３までの距離を計測し、他方がマーカＭ４までの距離を計測するようにしてもよい。なお、撮像センサを用いる場合、マーカＭ３とマーカＭ４とは、異なる色、形状又は大きさとして、明確に区別できるようにすることが好ましい。

測距センサ４１６の認識情報（距離データ）により作業機械４０を操作可能となれば、キャブ４２５内の各種操作レバーと他の機器とを接続する電気的な配線がなくなる。また、各種操作レバーと油圧配管や油圧ホースとの接続も必要なくなる。これにより、キャブ４２５内にスペースが確保できるようになり、レイアウト自由度が高まるという効果が生じる。

操作レバーに静電センサを取り付け、オペレータＯＰが操作レバーを把持しているか否かを検出するようにしてもよい。例えば、図４で示した撮像センサ４１５Ａ，４１５Ｂと併用することで、より確実に安全装置４５０が判定を行うことができる。なお、オペレータＯＰによっては操作レバーを把持する位置が異なるため、静電センサを複数取り付けることが好ましい。

［第２実施形態］
次に、図６～図９を参照して、本発明の第２実施形態に係る作業支援システムについて説明する。

図６は、作業支援システム１００の全体構成を示している。作業支援システム１００は、作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０Ａ，４０Ｂとで構成されている。

作業支援システム１００は、オペレータＯＰが遠隔操作装置２０を操作することで、操作対象として割り当てられた作業機械４０Ａ，４０Ｂを選択的に遠隔操作し得るように構成されたシステムである。遠隔操作装置２０により、遠隔地にある作業機械４０Ａ，４０Ｂを操作可能であるため、遠隔操作装置２０がマスター、作業機械４０Ａ，４０Ｂがスレーブの関係にある。

作業支援サーバ１０、遠隔操作装置２０及び作業機械４０Ａ，４０Ｂは、５Ｇ等の無線通信網を含むネットワークＮＷにより相互に通信可能に構成されている。なお、作業支援サーバ１０は、作業機械４０Ａ，４０Ｂの切替え、移動、作業内容等に応じて、遠隔操作装置２０の画像出力装置（図示省略）に出力される撮像画像を切り替える。

作業支援サーバ１０（本発明の「サーバ」）は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）を備え、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、作業支援サーバ１０の無線通信機器は、ネットワークＮＷを経由して遠隔操作装置２０に撮像画像の表示を指示したり、各種データの送受信をしたりする。

次に、遠隔操作装置２０は、遠隔制御装置（操作側制御装置）２００と、認識装置２１４と、無線通信機器２２３と、安全装置２５０とで構成されている。

遠隔制御装置２００（本発明の「制御部」）には、演算部２０１及び記憶部２０２が含まれる。演算部２０１は、シングルコアプロセッサ又はマルチコアプロセッサ、若しくはこれを構成するプロセッサコアにより構成され、記憶部２０２から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

演算部２０１は、認識装置２１４による認識情報（画像データ等）に基づいて、操作レバー２８０が有するマーカＭに関するマーカ情報を抽出する（図９参照）。また、記憶部２０２には、各種マーカの設定（マーカ設定）が記憶されている。これは、具体的には、マーカの形状や色彩、凸状か否かに関する情報である。

認識装置２１４（本発明の「認識部」）は、遠隔操作装置２０に設置されたデジタルカメラ、ステレオカメラ等の撮像センサ又は測距センサである。また、安全装置２１０は、オペレータＯＰが操作レバー２８０を把持しているとき許可信号を出力し、作業機械４０Ａ，４０Ｂ（実機油圧機構４４８）の駆動を許可する装置である。

安全装置２１０は、例えば、認識装置２１４による認識情報を解析してオペレータＯＰが操作しているか否かを判定する。安全装置２１０があることにより、作業機械４０Ａ，４０Ｂが意図しない動作を引き起こす可能性を低減することができる。無線通信機器２２３は、ネットワークＮＷを経由して作業機械４０Ａ，４０Ｂに操作指令したり、作業支援サーバ１０との間でデータの送受信を行ったりする。

次に、作業機械４０Ａは、実機制御装置（実機側制御装置）４００と、無線通信機器４２０と、実機油圧機構４４８と、バケット４４５とで構成されている。また、作業機械４０Ｂは、実機制御装置（実機側制御装置）４００と、無線通信機器４２０と、実機油圧機構４４８と、リフティングマグネット４４７とで構成されている。作業機械４０Ａ，４０Ｂは、何れもクローラショベルであるが、それぞれ異なる作業を担当する。

作業機械４０Ａの無線通信機器４２０は、遠隔操作装置２０からの操作指令を受信し、当該操作指令を実機制御装置４００に送信する。これにより、実機油圧機構４４８を介してバケット４４５が作動するようになる。同様に、作業機械４０Ｂの無線通信機器４２０は、遠隔操作装置２０からの操作指令を受信し、当該操作指令を実機制御装置４００に送信する。これにより、実機油圧機構４４８を介してリフティングマグネット４４７が作動するようになる。

遠隔操作装置２０は、作業機械４０Ａ，作業機械４０Ｂを１機ずつ切り替えて操作することができるが、オペレータＯＰがマーカＭを有する操作レバー２８０を操作する（図９参照）。認識装置２１４は、オペレータＯＰが操作レバー２８０を操作しているとき、マーカＭの動きをとらえた認識情報を生成する。そして、遠隔制御装置２００は、当該認識情報から操作指令を生成して、作業機械４０Ａ又は作業機械４０Ｂに送信する。これにより、遠隔操作装置２０から作業機械４０Ａ，４０Ｂを操作することができる。

次に、図７を参照して、作業支援システム１００の遠隔操作装置２０で実行される制御フローチャートを説明する。今回、認識装置２１４として、撮像センサ（可視光カメラ）を用いる。なお、適宜、図８及び図９を参照して、説明を補足する。

まず、遠隔操作装置２０の遠隔制御装置２００は、記憶部２０２からマーカ設定を読み出す（ＳＴＥＰ０１）。これにより、後に取得される認識情報（画像データ等）に対する準備が行われる。

次に、遠隔制御装置２００は、認識装置２１４から画像データを取得する（ＳＴＥＰ０２）。当該画像データは、操作レバー２８０のマーカＭを撮像した画像である（図９参照）。

次に、遠隔制御装置２００（演算部２０１）は、マーカ情報を抽出する（ＳＴＥＰ０３）。具体的には、前ステップにて取得した画像データからマーカＭの色及び形状を抽出して、マーカ情報とする。

その後、遠隔制御装置２００は、抽出したマーカ情報がマーカ設定と一致しているか否かを判定する（ＳＴＥＰ０４）。前ステップで抽出したマーカ情報がマーカ設定と一致している場合にはＳＴＥＰ０２に戻り、遠隔制御装置２００は、認識装置２１４にマーカＭの動きを追跡させる。一方、当該マーカ情報がマーカ設定と一致していない場合には、ＳＴＥＰ０５に進む。

マーカ情報がマーカ設定と一致していない場合（ＳＴＥＰ０４で「ＮＯ」）、遠隔制御装置２００は、当該マーカ情報をサーバ（作業支援サーバ１０）に送信する（ＳＴＥＰ０５）。

その後、遠隔制御装置２００は、作業支援サーバ１０からマーカ情報に対応するレバー特性情報を受信したか否かを判定する（ＳＴＥＰ０６）。作業支援サーバ１０には、図８に示すような、マーカ情報とレバー特性情報の関係の一覧表が記憶されている。

例えば、マーカ情報の色及び形状が、それぞれ「赤」、「円形」である場合（図８の４段目）、レバー特性情報の第１軸方向の作動範囲及び操作量、第２軸方向の作動範囲及び操作量は、一覧表に示す角度となる。例えば、第１軸方向について、作動範囲の「－３０°」は操作量の「－１００」に対応し、作動範囲の「３０°」は操作量の「１００」に対応する。また、この場合、スイッチ有無は、スイッチＡ，Ｂが共に「有」である。

図９に示すように、操作レバー２８０は円形のマーカＭを有し、中立位置Ｏ（作動角度０°）を中心として、第１軸Ｐと第２軸Ｑの２方向にそれぞれ異なる範囲作動する。なお、操作レバー２８０の上面にあるスイッチＡ，Ｂは、何れも判定用マーカである。

このように、図８の一覧表には、マーカ情報とレバー特性情報の様々なパターンを組合せが予め登録されている。マーカ情報は、マーカＭ自体の色及び形状に加えて、上面の模様又は図形の色、形状、凹凸等を含むようにして、パターンを増加させることもできる。

作業支援サーバ１０は、前ステップで遠隔制御装置２００から送信されたマーカ情報に対応するレバー特性情報を遠隔制御装置２００に返す。そして、遠隔制御装置２００がレバー特性情報を受信した場合にはＳＴＥＰ０７に進み、まだ受信していない場合には受信するまで待機する。

最後に、遠隔制御装置２００がレバー特性情報を受信した場合（ＳＴＥＰ０６で「ＹＥＳ」）、マーカ設定のマーカ情報とレバー特性情報を更新して、記憶部２０２に記憶する（ＳＴＥＰ０７）。これにより、遠隔制御装置２００は、更新された情報に基づいて、認識装置２１４にマーカＭの動きを追跡させる。

このように、作業支援サーバ１０は、遠隔操作装置２０からの要求に応じて、レバー特性情報を提供する。従って、遠隔操作装置２０は、オペレータＯＰが操作レバー２８０を操作することにより、遠隔地にある作業機械４０Ａ，４０Ｂを安全かつ確実に操作することができる。また、操作レバーを変更してもキャリブレーションを必要としないため、操作レバーの変更が容易になる。

以上、本発明を実施するための実施形態を説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、適宜変更することができる。

第２実施形態の作業支援システム１００では、マーカ情報とレバー特性情報の一覧表は作業支援サーバ１０内に格納されていたが、遠隔制御装置２００の記憶部２０２に記憶されていてもよい。この場合、遠隔操作装置２０から作業支援サーバ１０に問合せしなくても、新たな操作レバーへの変更を容易に行うことができる。

１０…作業支援サーバ、２０…遠隔操作装置、４０，４０Ａ，４０Ｂ…作業機械、１００…作業支援システム、２００…遠隔制御装置、２１４…認識装置、２２３…無線通信機器、２５０…安全装置、２８０…操作レバー、４００…実機制御装置、４１０…実機入力インターフェース、４１４…認識装置、４１５Ａ，４１５Ｂ…撮像センサ、４１６…測距センサ、４２０…無線通信機器、４２５…キャブ、４２７…下部走行体、４３５…上部旋回体、４４０…作動機構、４４５…バケット、４４７…リフティングマグネット、４４８…実機油圧機構、４５０…安全装置、４１１０…走行レバー、４１１２…左側操作レバー、４１１５…二軸型操作レバー。

Claims (9)

1. 作業者が作業機械を操作するための操作レバーと、
   前記操作レバーの所定部位に設けられたマーカと、
   前記マーカの有無又は当該マーカまでの距離を認識する認識装置と、
   前記認識装置から送信された認識情報に基づいて、前記作業機械を駆動させる制御装置と、
   を備えていることを特徴とする作業機械。
2. 請求項１に記載の作業機械において、
   前記認識装置は、測距センサであることを特徴とする作業機械。
3. 請求項１に記載の作業機械において、
   前記認識装置は、撮像センサであり、
   前記撮像センサは、前記マーカが撮像可能な位置に少なくとも１つ以上設けられていることを特徴とする作業機械。
4. 請求項１～３の何れか１項に記載の作業機械において、
   前記制御装置に対して前記作業機械の制御を許可する安全装置を備え、
   前記安全装置は、前記認識情報に基づいて前記認識情報から前記操作レバーの特定範囲における作業者の指の有無を判定し、前記作業者の指を認識した場合には所定の許可信号を出力し、前記作業者の指を認識しなかった場合には前記許可信号を出力しないことを特徴とする作業機械。
5. 請求項４に記載の作業機械において、
   前記操作レバーは、前記安全装置が特定の位置に作業者の指の有無を判定する判定用マーカを有し、
   前記安全装置は、前記判定用マーカが前記指で隠れている場合には前記許可信号を出力し、前記判定用マーカが前記指で隠れていない場合には前記許可信号を出力しないことを特徴とする作業機械。
6. 請求項１～５の何れか１項に記載の作業機械において、
   前記操作レバーは、操作されたときに抵抗力が生じる抵抗力発生機構を備えていることを特徴とする作業機械。
7. 請求項１～６の何れか１項に記載の作業機械において、
   前記操作レバーは、操作されていないときに中立位置に復帰する中立位置復帰機構を備えていることを特徴とする作業機械。
8. 請求項１～７の何れか１項に記載の作業機械において、
   前記操作レバーが基部と両軸の接続部とを中心に動く二軸構造である場合に、作業者が把持する軸の所定部位及び前記接続部にそれぞれ前記マーカを有していることを特徴とする作業機械。
9. 作業者の操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように前記操作対象の作業機械による作業を支援する遠隔操作装置と、前記遠隔操作装置と通信可能に接続されたサーバと、からなる作業支援システムであって、
   前記遠隔操作装置は、
   前記作業者が前記作業機械を操作するための操作レバーと、
   前記操作レバーの所定部位に設けられたマーカと、
   前記マーカの有無又は当該マーカまでの距離を認識する認識部と、
   前記認識部によって認識された認識情報に基づいて、前記マーカに関するマーカ情報を抽出する制御部と、
   前記サーバ及び作業機械と通信を行う通信部と、を備え、
   前記遠隔操作装置の前記通信部は、前記マーカ情報を前記サーバに送信し、
   前記サーバは、
   少なくとも前記マーカ情報と前記操作レバーの所定の作動軸に対する操作量と指令値との関係と、前記操作レバーに設定された特定の機能情報とを記憶する記憶部と、
   前記マーカ情報に対応する前記機能情報を前記遠隔操作装置に送信する通信部と、を備え、
   前記遠隔操作装置の前記制御部は、前記サーバから送信された前記機能情報に基づいて、前記認識部によって認識された認識情報から抽出した操作量又は操作状態に応じた操作指令を前記作業機械に送信することを特徴とする作業支援システム。

Images