JP2018172857A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】作業機械の周囲に存在する障害物に関して過不足の無い適切な警報を発すること。
【解決手段】コントローラ５０に、油圧ショベルの姿勢及び動作の情報を取得する機械状態取り込み部４００と、機械状態取り込み部４００が取得した油圧ショベルの姿勢及び動作の情報に基づいて油圧ショベルの運転席１ｆからの死角領域を算出する死角算出部５００と、死角算出部５００が算出した死角領域と位置関係算出部２００が算出した位置関係に基づいて障害物に対する視認レベルを決定する視認レベル決定部３００とを備えた。さらに、コントローラ５０の警報レベル決定部６００で、視認レベル決定部３００で決定された視認レベルに応じて警報レベルを補正することとした。
【選択図】 図３

Description

本発明は作業機械の周囲に存在する障害物を検出してオペレータに対する警報を出力する作業機械の周囲監視装置に関する。

油圧ショベルなどの作業機械には、接触事故を防止するために、作業機械の周囲に存在する人または物体等の障害物を検出し、作業機械のオペレータに対して警報を発する周囲監視装置を搭載したものがある。しかし、実際の作業現場においては、作業員が作業機械の近傍で作業を行っていることを知りながら作業機械を意図的に動作させるケースも多い。こうした環境下では、作業員が近傍にいることを知っているにも係わらず周囲監視装置から警報が発せられてしまう。

このような問題の解決を試みた装置の１つとして、特許文献１に記載のものがある。この装置は、画像処理を通じて作業機械の周囲に存在する障害物が人であるか否かを判断し、作業機械の状態や障害物との位置関係を踏まえて警報レベルを決定することで不必要な警報を抑制するものである。また、特許文献２に記載の装置では、オペレータの視線に基づいてオペレータが障害物を視認しているかどうかを判断して警報を発することにより、過剰な警報の防止を図っている。

特開２０１０−１９８５１９号公報 特開２００６−０２７４８１号公報

しかしながら、特許文献１では、作業機械と周囲の障害物との位置関係や作業機械の動作に基づいて危険度合いを判定しているだけであり、オペレータがその障害物を実際に視認しているかどうかは全く考慮されていない。例えば、警報が出力される位置関係に作業機械と障害物があっても、オペレータが障害物の存在を認識した状態で操作を行っているのであれば、接触事故を引き起こす可能性は低く、オペレータに対する警報の必要性は高くない。このような場面でオペレータが障害物を認識していないときと同じ警報が継続して発せられるとオペレータに煩わしさを感じさせる可能性が高い。したがって、特許文献１に記載の装置には、オペレータが障害物を視認しているか否かに基づいて警報の発し方を改善する余地がある。

また、特許文献２では、オペレータの視線に基づき視認判定を行っているが、作業機械の操作に伴う死角の変化という作業機械特有の現象に関しては考慮されていない。特にフロント作業装置を備える作業機械では、作業中に絶えず死角の変化が生じ、オペレータの視線と障害物の位置が一致していたとしても、フロント作業装置の背後に存在する障害物は視認できないという事態が想定される。このように、引用文献２の技術を作業機械に転用する場合、視認判定の信頼性が十分でない。

本発明の目的は、作業機械の周囲に存在する障害物に関して過不足の無い適切な警報を発することにある。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業機械の周囲に存在する障害物を検出する障害物検出部と、前記障害物検出部で検出された前記障害物と前記作業機械の位置関係を算出する位置関係算出部と、前記位置関係算出部で算出された前記位置関係に基づいて警報レベルを決定する警報レベル決定部と、前記警報レベル決定部で決定された前記警報レベルに応じた警報内容を出力装置に出力する警報出力部とを有する制御装置を備える作業機械の周囲監視装置において、前記制御装置は、前記作業機械の姿勢及び動作の情報を取得する機械状態取り込み部と、前記機械状態取り込み部が取得した前記作業機械の姿勢及び動作の情報に基づいて前記作業機械の運転席からの死角領域を算出する死角算出部と、前記死角算出部が算出した前記死角領域と前記位置関係算出部が算出した前記位置関係に基づいて前記障害物に対する視認レベルを決定する視認レベル決定部とをさらに有し、前記警報レベル決定部は、前記視認レベル決定部で決定された前記視認レベルに応じて前記警報レベルを補正するものとする。

本発明によれば、障害物の存在を知らせる警報に関して、オペレータの視線と作業機械の姿勢に基づいてオペレータが障害物を視認しているか否かが考慮されるので、適切な警報を発することができる。

本発明の実施の形態に係る油圧ショベルの概略構成図。 図１の油圧ショベルのシステム構成図。 本発明の第1実施形態に係るコントローラ５０の機能ブロック図。 第１実施形態の死角算出部５００の処理の流れを示した図。 死角領域データＣの例を示した図。 オペレータ操作（油圧ショベルの動作）とオペレータ注視方向（視線方向）の関係図。 死角領域データＡの例を示した図。 運転室１ｆのオペレータの視線の位置より上方にフロント作業装置１Ａが位置する場合の視認可能領域５１１を示した図。 図８の場合よりもアーム１ｂをクラウド側に動作させた場合のオペレータの視認可能領域５１１を示した図。 図９の場合よりもさらにアーム１ｂをクラウド側に動作させた場合のオペレータの視認可能領域５１１を示した図。 視覚補助装置としてステレオカメラ１３ａを利用した場合の死角領域データＢの例を示した図。 視覚補助装置としてサイドミラーを利用した場合の死角領域データＢの例を示した図。 視認レベル決定部３００の処理の流れを示した図。 警報レベル決定部６００の処理の流れを示した図。 警報出力部７００の処理の流れを示した図。 警報レベル１の警報画面の例を示した図。 警報レベル２の警報画面の例を示した図。 第２実施形態に係るコントローラ５０の機能ブロック図。 第２実施形態の死角算出部５００における処理の流れを示した図。

以下、本発明の実施の形態について図面を用いて説明する。
＜第1実施形態＞
［油圧ショベルの基本構成］
図１は本発明の実施の形態に係る油圧ショベルの概略構成図である。図１において、油圧ショベルは、クローラ式の走行体１ｅと、走行体１ｅの上部に旋回可能に取り付けられた旋回体１ｄを備えている。走行体１ｅは、左右の走行油圧モータ３ｅ，３ｆによって駆動される。旋回体１ｄは、旋回油圧モータ３ｄの発生するトルクによって駆動され、左右方向に旋回する。

旋回体１ｄ上には運転席１ｆが設置され、旋回体１ｄの前方には目標施工面の形成作業を行うことの可能な多関節型のフロント作業装置１Ａが取り付けられている。

フロント作業装置１Ａは、ブームシリンダ３ａによって駆動されるブーム１ａと、アームシリンダ３ｂによって駆動されるアーム１ｂと、バケットシリンダ３ｃによって駆動されるバケット１ｃとを備える。

運転席１ｆには、ブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、走行油圧モータ３ｅ，３ｆ及び旋回油圧モータ３ｄに対する制御信号（ギヤポンプ２４（図２参照）から出力されるパイロット圧（以下ではＰｉ圧とも称する））を操作方向及び操作量に応じて発生し、その制御信号によりブーム１ａ、アーム１ｂ、バケット１ｃ、旋回体１ｄ及び走行体１ｅを動作させるための操作レバー２６と、エンジン２１（図２参照）の目標回転数を指令するエンジンコントロールダイヤル５１（図２参照）と、オペレータに対して油圧ショベルの周囲で検出された障害物を報せるための警報出力装置１０（表示装置１０ａ及び音声出力装置１０ｂ）と、オペレータの視覚を補助するために旋回体１ｄの後方の領域を映すバックモニタ（視覚補助装置）１１（図２参照）が設置されている。

旋回体１ｄの後方、右側方、左側方、前方にはそれぞれ、各方向の動画の撮影及び障害物の検知を行うステレオカメラ１３ａ，１３ｂ，１３ｃ，１３ｄが設置されている。ステレオカメラ１３ａ，１３ｂ，１３ｃ，１３ｄは、油圧ショベル周囲の障害物を検出するための障害物センサと、油圧ショベルから障害物までの距離を検出するための距離センサとして機能している。

図２は図１の油圧ショベルのシステム構成図である。本実施形態の油圧ショベルは、エンジン２１と、エンジン２１を制御するためのコンピュータであるエンジンコントロールユニット（ＥＣＵ）２２と、エンジン２１の出力軸に機械的に連結されエンジン２１によって駆動される油圧ポンプ２３及びギヤポンプ（パイロットポンプ）２４と、ギヤポンプ２４から吐出される圧油を操作量に応じて減圧したものを、各油圧アクチュエータ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆの制御信号としてコントロールバルブ２５に出力する操作レバー２６と、油圧ポンプ２３から各油圧アクチュエータ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆに導入される作動油の流量及び方向を、操作レバー２６から出力される制御信号（パイロット圧）に基づいて制御する複数のコントロールバルブ２５と、各コントロールバルブ２５に作用するＰｉ圧の圧力値を検出する複数の圧力センサ（パイロット圧センサ）４１と、油圧ショベルの周囲に存在する障害物を検出してオペレータに対する警報及び車体制御の信号を生成・出力するコンピュータであるコントローラ（制御装置）５０と、オペレータに対して油圧ショベルの周囲で検出された障害物を報せるための警報出力装置１０（表示装置１０ａ及び音声出力装置１０ｂ）と、オペレータの視覚を補助するために油圧ショベル周囲の所定の領域（ここでは旋回体１ｄの後方の領域）を映すバックモニタ（視覚補助装置）１１を備えている。

油圧ポンプ２３は、各油圧アクチュエータ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆの目標出力の通りに車体が動作するよう、機械的にトルク・流量が制御されている。

ギヤポンプ２４の吐出配管にはロック弁４９が設けられている。ロック弁４９は本実施形態では電磁切換弁であり、その電磁駆動部はコントローラ５０と電気的に接続している。通常、ロック弁４９は開いておりギヤポンプ２４の吐出油は操作レバー２６を介してコントロールバルブ２５に供給される。しかし、コントローラ５０内の車体制御部２０からロック弁４９に対して車体停止信号が入力されるとロック弁３９が閉じてギヤポンプ２４から操作レバー２６への圧油の供給が遮断され、レバー操作が無効化される。

本実施形態では操作レバー２６として、ブーム１ａの上げ・下げとバケット１ｃのダンプ・クラウドをそれぞれ指示するための第１操作レバーと、アーム１ｂのダンプ・クラウドと旋回体１ｄの左・右旋回をそれぞれ指示するための第２操作レバーと、走行モータ３ｅの正転・逆転を指示するため第１走行レバーと、走行モータ３ｆの正転・逆転を指示するための第２走行レバー（いずれも図示せず）の複数のレバーを備えたものが搭載されている。第１操作レバーと第２操作レバーは２複合のマルチ機能操作レバーで、第１操作レバーの前後操作がブーム１ａの上げ・下げ、左右操作がバケット１ｃのクラウド・ダンプ、第２操作レバーの前後操作がアーム１ｂのダンプ・クラウド、左右操作が旋回体１ｄの左・右回転に対応している。レバーを斜め方向に操作すると、該当する２つのアクチュエータが同時に動作する。第１走行レバーと第２走行レバーは単機能操作レバーで、第１走行レバーの前後操作が走行モータ３ｅの正転・逆転、第２走行レバーの前後操作が走行モータ３ｆの正転・逆転に対応している。

コントロールバルブ２５は、制御対象の油圧アクチュエータ３ａ，３ｂ，３ｃ，３ｄ，３ｅ，３ｆと同数存在するが、図２ではそれらをまとめて１つで示している。各コントロールバルブには、その内部のスプールを軸方向の一方又は他方に移動させる２つのＰｉ圧が作用している。例えば、ブームシリンダ３ａ用のコントロールバルブ２５には、ブーム上げのＰｉ圧と、ブーム下げのＰｉ圧が作用する。

圧力センサ４１は、各コントロールバルブ２５に作用するＰｉ圧を検出するもので、１つのコントロールバルブ２５につき２つ存在しているが、図２ではそれらをまとめて１つで示している。圧力センサ４１は、コントロールバルブ２５の直下に設けられており、実際にコントロールバルブ２５に作用するＰｉ圧を検出している。圧力センサ４１の検出圧は、操作レバー２６である第１及び第２操作レバー及び第１及び第２走行レバーの操作方向及び操作量を示す。

コントローラ５０は、入力部と、プロセッサである中央処理装置（ＣＰＵ）と、記憶装置であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と、出力部とを有している。入力部は、コントローラ５０に入力される各種情報を、ＣＰＵが演算可能なように変換する。ＲＯＭは、後述する演算処理を実行する制御プログラムと、当該演算処理の実行に必要な各種情報等が記憶された記録媒体であり、ＣＰＵは、ＲＯＭに記憶された制御プログラムに従って入力部及びＲＯＭ、ＲＡＭから取り入れた信号に対して所定の演算処理を行う。出力部からは、警報出力装置１０から警報を出力するために必要な指令等が出力される。なお、記憶装置は上記のＲＯＭ及びＲＡＭという半導体メモリに限られず、例えばハードディスクドライブ等の磁気記憶装置に代替可能である。

コントローラ５０には、警報出力装置１０（表示装置１０ａ及び音声出力装置１０ｂ）と、ＥＣＵ２２と、複数の圧力センサ４１と、バケット角センサ８ａと、アーム角センサ８ｂと、ブーム角センサ８ｃと、車体傾斜角センサ８ｄと、ロック弁４９が接続されている。

コントローラ５０は、バケット角センサ８ａ、アーム角センサ８ｂ、ブーム角センサ８ｃおよび車体傾斜角センサ８ｄからの入力信号に基づいてフロント作業装置１Ａの姿勢を算出し、圧力センサ４１の入力信号に基づいてフロント作業装置１Ａの動作を算出する。つまり、本実施形態では、バケット角センサ８ａ、アーム角センサ８ｂ、ブーム角センサ８ｃおよび車体傾斜角センサ８ｄはフロント作業装置１Ａの姿勢センサとして機能し、圧力センサ４１はフロント作業装置１Ａの動作センサとして機能している。なお、車体傾斜角は、２本のＧＮＳＳアンテナを設置し、これらからの入力信号から算出しても良い。

なお、本稿で説明するフロント作業装置１Ａの姿勢やパイロット圧の算出に際して利用する手段・方法は一例に過ぎず、公知の算出手段・方法が利用可能である。

［コントローラ５０の機能的構成］
図３は本発明の第1実施形態に係るコントローラ５０の機能ブロック図である。この図に示すようにコントローラ５０は、記憶装置に格納された制御プログラムに従った中央処理装置の演算処理により、障害物検出部１００、位置関係算出部２００、視認レベル決定部３００、機械状態取り込み部４００、死角算出部５００、警報レベル決定部６００、警報出力部７００および車体制御部２０として機能する。

障害物検出部１００は、旋回体１ｄの外周部の上面に取り付けられたステレオカメラ１３ａ，１３ｂ，１３ｃ，１３ｄで取得した視差画像を基に画像処理を通じてショベル周囲に存在する障害物を検出し、各カメラ座標系における障害物の位置座標及び障害物の属性（人であるか、その他物体であるか）を算出する。ここで得られた障害物の位置座標は位置関係算出部２００へ、障害物の属性は警報レベル決定部６００へ出力される。

位置関係算出部２００は、車体座標系におけるステレオカメラ１３ａ，１３ｂ，１３ｃ，１３ｄの位置と方向の情報を保有している。位置関係算出部２００は、障害物検出部１００で検出された障害物についての各カメラ座標系における位置座標を車体座標系における位置座標へ変換する。そして車体座標系における各障害物と油圧ショベルの位置関係を算出する。ここで算出された車体座標系における障害物の位置座標は視認レベル決定部３００及び警報レベル決定部６００及び警報出力部７００へ出力される。

機械状態取り込み部４００は、角度センサ８ａ，８ｂ，８ｃ，８ｄから得られた各リンク１ａ，１ｂ，１ｃの角度を基に油圧ショベルの姿勢を演算する。また、パイロット圧センサ４１からの出力を用いて、操作レバー２６に対するオペレータの操作を判定し、油圧ショベルの動作を識別する。ここで求められた油圧ショベルの姿勢情報及び動作情報は死角算出部５００及び警報レベル決定部６００へ出力される。

死角算出部５００は、機械状態取り込み部４００が取得した油圧ショベルの姿勢情報及び動作情報に基づいて油圧ショベルの運転席からの死角領域を算出する。ここで求められた死角領域は視認レベル決定部３００に出力される。死角算出部５００が行う処理の詳細については図４を用いて後述する。

視認レベル決定部３００は、死角算出部５００が算出した死角領域と位置関係算出部２００が算出した障害物と油圧ショベルの位置関係に基づいて障害物に対する視認レベルを決定する。ここで求められた視認レベルは警報レベル決定部６００に出力される。視認レベル決定部３００が行う処理の詳細については図１３を用いて後述する。

警報レベル決定部６００は、位置関係算出部２００で算出された障害物と油圧ショベルの位置関係に基づいて警報レベルを決定し、その決定した警報レベルを視認レベル決定部３００で決定された視認レベルに応じて補正する。ここで決定された警報レベルは警報出力部７００に出力される。警報レベル決定部６００が行う処理の詳細については図１４を用いて後述する。

警報出力部７００は、警報レベル決定部６００で決定された警報レベルに応じた警報内容を警報出力装置１０及び車体制御部２０に出力する。警報出力部７００が行う処理の詳細については図１５を用いて後述する。

［死角算出部５００の処理フロー］
まず、死角算出部５００の処理の詳細について図４を用いて説明する。図４は死角算出部５００の処理の流れを示した図である。記憶装置には或る代表姿勢における油圧ショベルの３次元モデルデータ（車体モデルデータ）５３０が格納されており、死角算出部５００は、ステップ５０１では機械状態取り込み部４００から得られた油圧ショベルの姿勢情報と車体モデルデータ５３０を基に、現在の姿勢情報を反映した車体モデルを生成する。

死角算出部５００は、ステップ５０１と並行してステップ５０２において、操作レバー２６に対して操作なし又は直進以外の走行操作を行っているかどうかをパイロット圧センサ４１からの信号に基づいて判定する。なお、ここで「直進」とは、操作レバー２６のうち第１走行レバーと第２走行レバーを同方向に略同量操作することで走行体１ｅを前進又は後退させることをいう。ステップ５０２で操作なし又は直進以外の走行操作を行っていると判定された場合にはステップ５０９に進み、操作あり又は直進以外の走行操作を行っていないと判定された場合にはステップ５０３に進む。

操作なし又は直進以外の走行操作をしているステップ５０９では、オペレータは複数方向へ注意を払っていることが想定されるため、オペレータの視線方向（視線）の推定を行わずに、死角算出部５００は油圧ショベルの全周囲を死角領域と設定した「死角領域データＣ」を生成する。図５は死角領域データＣの例を示した図である。この場合、死角算出部５００は油圧ショベル５１６の全周囲を死角領域５２１として設定して処理を終了する。ステップ５０９で作成した死角領域データＣは、視認レベル決定部３００へ出力される。

ステップ５０３において、死角算出部５００は、機械状態取り込み部４００から得られた油圧ショベルの動作情報及び運転室１ｆ内におけるオペレータの着座位置データ５４０を基に、オペレータの視線方向（視線）を推定する。オペレータの着座位置データ５４０は、運転室１ｆ内の座席にオペレータが着座したときの頭部位置のデータである。この値はオペレータごとに設定することもできるが、本実施形態では複数のオペレータで共通の値とする。油圧ショベルが稼働する国や地域の成人の平均値を共通の値として利用しても良い。

オペレータは操作時（直進の走行操作も含む）に機械の動作方向へ視線を向けていることが想定される。そこで、本実施形態では、ステップ５０３において、各操作時におけるオペレータの注視方向（視線方向）を図６に記載されたように判断するものとする。

図６はオペレータ操作（油圧ショベルの動作）とオペレータ注視方向（視線方向）の関係図である。図中の「オペレータ注視方向」の列における「視覚補助装置」は、運転室１ｆ内に設けられ、後方のステレオカメラ１３ａで撮影した映像が映し出されるバックモニタ１１（図２参照）である。なお、視覚補助装置としては、バックモニタ１１の他に例えばサイドミラー等が含まれるが、サイドミラーについては第２実施形態で説明する。死角算出部５００は、パイロット圧センサ４１の出力に基づいて油圧ショベルの現在の動作が、フロント動作、右旋回、左旋回、前進および後退のいずれかであるかを判定する。そして判定結果に係る動作を図６の表の「オペレータ操作」の列から検索し、該当するセルの右隣のセル（「オペレータ注視方向」の列のいずれかのセル）に記載されている場所をオペレータの注視方向とみなす。例えば、フロント作業装置１Ａの動作が検出された場合には、バケット１ｃの爪先位置（フロント爪先位置）が注視方向となる。図６により注視方向が決まったら、死角算出部５００は、着座位置データ５４０から得られたオペレータの頭部位置を原点とし、図６から得られた注視方向に伸びるベクトルでオペレータの視線方向を規定（推定）し、ステップ５０４に進む。なお、本実施の形態では、フロント作業装置１Ａと他の動作の複合動作が検出された場合には、フロント爪先位置を注視方向とみなす。

ステップ５０４では、死角算出部５００は、ステップ５０３で視覚補助装置を注視しているという判定がされたか否かを判定する。視覚補助装置を注視していない場合はステップ５０５、注視している場合はステップ５０６に進む。

ステップ５０４でオペレータは視覚補助装置を注視していないと判定された場合（ステップ５０５に進んだ場合）、オペレータは車体周囲の環境を直視によって確認していると考えられる。そこで、死角算出部５００は、ステップ５０１で生成した現在の姿勢での車体モデル及びオペレータの着座位置データ５４０に基づき、フロント作業装置１Ａの姿勢を考慮した「死角領域データＡ」を仮想的に生成する視界シミュレーションを行う。着座位置データ５４０で規定されるオペレータの頭部位置から瞳孔位置を推定し、この瞳孔位置を基準としてフロント作業装置１Ａによって隠れる領域を作業装置死角領域とする。

図７は死角領域データＡの例を示した図である。ステップ５０３で推定した車体座標系におけるオペレータの視線ベクトル（視線方向）５１４を基準に周辺視によって視認可能な視野領域５１５（例えば６０から１００度の任意の値）を規定し、これにフロント作業装置１Ａの姿勢によって生じる作業装置死角領域５１２を反映している。この場合の死角領域は、視野外領域５１３に作業装置死角領域５１２を加えた領域となる。反対に視認可能領域５１１は視野領域５１５から作業装置死角領域５１２を除いた領域となる。

図７中の作業装置死角領域５１２は、フロント作業装置１Ａの姿勢に応じて変化する。次にこの点を説明する。図８は運転室１ｆのオペレータの視線の位置より上方にフロント作業装置１Ａが位置する場合の視認可能領域５１１を示した図である。この場合、フロント作業装置１Ａによってオペレータの視界は遮られないのでフロント作業装置１Ａによる作業装置死角領域は発生しない。すなわち視認可能領域５１１は視野領域５１５と一致する。図９は図８の場合よりもアーム１ｂをクラウド側（旋回体１ｄ側）に動作させた場合のオペレータの視認可能領域５１１を示した図である。このような中間姿勢においてはフロント作業装置１Ａによってオペレータの視界の一部が遮断されてしまうため、作業装置死角領域５１２が生じる。この場合の視認可能領域５１１は視野領域５１５から作業装置死角領域５１２を除いた領域となる。図１０は図９の場合よりもさらにアーム１ｂをクラウド側に動作させた場合のオペレータの視認可能領域５１１を示した図である。この図では図９の場合よりもさらにオペレータの視界がフロント作業装置１Ａに遮断された作業装置死角領域５１２が生じる。

ステップ５０７ではステップ５０５で得られた死角領域データＡを視認レベル決定部３００へ出力する。

一方、ステップ５０４でオペレータは視覚補助装置を注視していると判定された場合（ステップ５０６に進む場合）、オペレータは視覚補助装置に映し出されている領域のみを視認しており、その他の領域については死角となることが想定される。そのため、ステップ５０６では、ステップ５０１で生成した現在の姿勢における車体モデルと、ステレオカメラ１３ａの画角、取り付け位置及び取り付け角度等の情報を表す視覚補助装置パラメータ５５０とを用いて、オペレータが視覚補助装置を注視したときの間接視界を示した「死角領域データＢ」を作成する。

図１１は視覚補助装置としてステレオカメラ１３ａ（バックモニタ１１）を利用した場合の死角領域データＢの例を示した図である。注視している視覚補助装置が映している領域を視認可能領域５１１とし、その他の領域を死角領域５２１として設定する。

ステップ５０８で作成した死角領域データＢは、視認レベル決定部３００へ出力される。

［視認レベル決定部３００の処理フロー］
視認レベル決定部３００の処理の詳細について図１３を用いて説明する。図１３は視認レベル決定部３００の処理の流れを示した図である。

視認レベル決定部３００は、まず、ステップ３０１において死角算出部５００から得られた死角領域データの種類を判定する。この判定の結果が死角領域データＡの場合にはステップ３０２へ、死角領域データＢの場合にはステップ３０４へ、死角領域データＣの場合にはステップ３０７へ進む。

ステップ３０２では、視認レベル決定部３００は、位置関係算出部２００から得られた車体座標系における障害物の位置座標が死角領域データＡに含まれているか否かを判定することで、オペレータが障害物を直接視界によって視認しているか否かを判定する。対象の障害物が死角領域に存在する場合（例えば、図１０のように障害物１２００が作業装置死角領域５１２内に位置する場合）には、オペレータはその障害物を視認していないとみなしてステップ３０７に進んで視認レベルを１に決定し、次の警報レベル決定部６００の処理に移行する。一方、対象の障害物が視認可能領域に存在してオペレータが直接視界による視認をしているとみなす場合（例えば、図９のように障害物１２００が視認可能領域５１１内に位置する場合）にはステップ３０３の処理へ進む。

ステップ３０３では、視認レベル決定部３００は、障害物からオペレータの視線方向までの距離を基に、オペレータが障害物を中心視野で視認しているか否かを判定する。本実施形態では、オペレータの視野方向（ベクトル）を直線で定義し、その直線と障害物の距離が、所定距離Ｄ１以内の場合にはオペレータは障害物を中心視野で視認しているとみなし、所定距離Ｄ１を越える場合にはオペレータは周辺視野で視認しているとみなす。障害物が中心視野内に存在すれば、周辺視野内に存在する障害物よりも、オペレータが障害物を視認している可能性は高いと考えられる。そこで、オペレータが中心視野で視認していると判定された障害物は視認レベルを３に決定する（ステップ３０５）。反対に、オペレータが周辺視野で視認していると判定された障害物は視認レベルを２に決定する（ステップ３０６）。本稿の「視認レベル」はその値が高いほどオペレータが障害物を視認している可能性が高いことを表し、中心視野で視認することができていれば、最も視認の可能性が高いことを示す視認レベル３に決定する。

ステップ３０４では、ステップ３０２と同様に、視認レベル決定部３００は、位置関係算出部２００から得られた車体座標系における障害物の位置座標が死角領域データＢに含まれているか否かを判定することで、オペレータが視覚補助装置を通じて障害物を視認しているか否かを判定する。視覚補助装置による間接視界は肉眼による直接視界に比べて視認性が低下することが想定されるため、視覚補助装置を通じて障害物を視認している場合は肉眼の場合よりもレベルを下げて視認レベルを２と決定する（ステップ３０６）。また、視認していない場合は視認レベルを１と決定する（ステップ３０７）。

ステップ３０１で死角領域データＣと判定された場合には、全領域が死角領域となるため、視認レベル決定部３００は障害物に対する視認レベルを１に決定する（ステップ３０７）。

上記のようにステップ３０５，３０６，３０７で決定した視認レベルは警報レベル決定部６００へ出力する。

［警報レベル決定部６００の処理フロー］
警報レベル決定部６００の処理の詳細について図１４を用いて説明する。図１４は警報レベル決定部６００の処理の流れを示した図である。警報レベル決定部６００は、障害物の属性、油圧ショベルから障害物までの距離、及び、操作レバー２６の操作内容等に応じて油圧ショベルと障害物の接触の危険性に関する警報レベルを設定し、これに対して視認レベル決定部３００で決定した視認レベルに応じた補正を加えて最終的な警報レベルを決定する。

警報レベル決定部６００は、まず、ステップ６０１において、位置関係算出部２００と機械状態取り込み部４００からの出力を基に、障害物が作業機械の作業半径内に存在するか否かを判定する。障害物が作業半径内に存在する場合にはステップ６０３に進み、作業半径内に存在しない場合にはステップ６０２に進む。なお、ここで「作業半径」とは、油圧ショベルの旋回中心からフロント作業装置１Ａの最遠端までの距離であり、油圧ショベルの姿勢情報に応じて変化する。

ステップ６０３では、警報レベル決定部６００は、油圧ショベルの動特性と障害物までの距離に基づき、油圧ショベルが障害物の存在する位置に到達するために要する最短の到達時間を算出する。この障害物までの最短の到達時間が２［ｓ］以下である場合は接触の危険性が高いため、警報レベルを４とする（ステップ６０９）。反対に到達時間が２［ｓ］以上であれば、ステップ６０４に進む。

ステップ６０２では、警報レベル決定部６００は、障害物検出部１００からの出力に基づいて障害物の属性が人と物体のいずれであるかを判定する。この判定で物体と判定され場合には、警報レベル決定部６００はステップ６０６で警報レベルを最も低い１に決定して処理を終了する。反対に人であると判定された場合にはステップ６０４に進む。

ステップ６０４では、警報レベル決定部６００は操作レバー２６の操作内容（圧力センサ４１の出力値）に基づいた動作の識別を行う。レバー操作が行われていないと判定された場合には警報レベルを１に決定して処理を終了する（ステップ６０６）。また、フロント作業装置１Ａのリンク部材１ａ，１ｂ，１ｃのみの操作が検出された場合には掘削作業と判断する。この場合、接触の危険性は比較的低いため、警報レベルを２とする（ステップ６０７）。一方、旋回モータ３ｄや走行モータ３ｅ，３ｆの操作が検出された場合には、油圧ショベルは旋回又は走行動作をしているとみなしてステップ６０５に進む。

ステップ６０５では、警報レベル決定部６００は油圧ショベルの動作する方向と障害物の位置する方向が一致しているか否かを判定する。本実施形態では、油圧ショベルの動作方向に障害物が存在している場合、油圧ショベルの動作方向と障害物の位置する方向が一致すると判定する。動作方向と障害物位置が一致していると判定された場合には接触の危険性が高いため警報レベルを３に決定する（ステップ６０８）。一方、一致していないと判定された場合には警報レベルを２に決定する（ステップ６０７）。

以上の処理において、ステップ６０７，６０８，６０９のいずれかを経由して警報レベルが２〜４と決定された場合には、ステップ６１０において、視認レベルに応じた警報レベルの補正を行い、最終的に出力する警報レベルを決定する。ここでは、視認レベル決定部３００で決定された視認レベルが３、つまり障害物を視認している可能性が高い場合には、ステップ６１０に入力された警報レベル（ステップ６０７，６０８，６０９のいずれかで仮決定した警報レベル）を１つ下げる。同様に、視認レベルが２の場合には入力された警報レベルを維持し、視認レベルが１の場合には入力された警報レベルを１つ上げる。このように警報レベルの補正が完了したら、警報レベル決定部６００は決定した警報レベルを警報出力部７００に出力する。

上記処理のように、オペレータが障害物を視認している可能性を表す視認レベルに応じて警報レベルを補正することによって、オペレータの障害物に対する気づきを考慮した警報又は車体制御を実現できる。

［警報出力部７００の処理フロー］
警報出力部７００の処理の詳細について図１５を用いて説明する。図１５は警報出力部７００の処理の流れを示した図である。この図に示したように、警報出力部７００は、警報レベル決定部６００で決定した警報レベルに応じた出力内容を決定し、その出力内容を実現するための信号を警報出力装置１０と車体制御部２０に出力する。

警報レベル１の場合、位置関係算出部２００と機械状態取り込み部４００の出力を基にし、車体モデルの俯瞰図に障害物位置を配置した表示を表示装置１０ａに行う。図１６はその表示画面の例を示した図である。この表示画面には、車体モデル７１１を中心として、油圧ショベルの作業半径を示す円７１２、人（障害物）の位置を示すマーク７１４、物体の位置を示すマーク７１５が表示されている。なお、他の警報レベル２−５に関してもこの警報レベル１と同じ内容を表示装置１０ａに表示するものとする
警報レベル２の場合、警報レベル１における表示装置１０ａの表示画面７１０に加えて、警報マーク７２３による強調表示を表示装置１０ａに行う。図１７はその警報画面の例を示した図である。警報マーク７２３は、画面７２０の上下に表示される赤等の警告色の帯であり、帯の上には「ＡＬＥＲＴ」という文字が付されている。

警報レベル３の場合、警報レベル２における表示画面７２０に加えて、警報レベル４，５の場合よりも相対的に小さい音量の警報音を音声出力装置１０ｂから出力し、その警報音でオペレータに表示画面への注視を促す。

警報レベル４の場合、警報レベル２における表示画面７２０に加えて、警報レベル３の場合よりも相対的に大きい音量の警報音を音声出力装置１０ｂから出力し、危険な状態であることをオペレータに強く警告する。

警報レベル５の場合、警報レベル４での表示及び音による警報に加えて、車体動作停止信号を生成する。決定した警報の内容は運転席内に設置された警報出力装置１０へ出力し、車体動作停止信号は車体制御装置２０へ出力し、それぞれの装置１０ａ，１０ｂによって警報又は車体動作停止制御を行う。例えば、油圧ショベルでは、オペレータの操作レバー２６の操作によってパイロット圧を変化させ、ブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ３ｄ及び左右の走行モータ３ｅ、３ｆの各アクチュエータを駆動する油の流量を制御している。車体動作停止信号が入力された場合、車体制御装置２０は、ロック弁３９を閉じてギヤポンプ２４から操作レバー２６への圧油の供給を停止さえることで、レバー操作を無効化し、車体の停止制御を行う。

上記のように本稿の警報レベルは、レベルが高いほど画像、文字及び音声等の警報要素が加重されていき、オペレータによる障害物の認識が容易になるように設定されている。

以上のように警報レベルに応じた警報を警報出力装置１０に出力したら、一連の処理を終了する。

［作用・効果］
上記のように構成された油圧ショベルにおいては、死角算出部５００が、機械状態取り込み部４００が取得した油圧ショベルの姿勢と動作の情報を考慮して油圧ショベルの運転室１ｆからのオペレータの死角領域及び視認可能領域を算出する。本実施形態には、油圧ショベルの動作と視覚補助装置の利用の有無に応じて死角領域としてＡ，Ｂ，Ｃの３パターンを利用している。そして、視認レベル決定部３００が、死角算出部５００が算出した死角領域内に障害物が存在するか否か、さらに障害物がオペレータの中心視野内に存在するか否かに応じて各障害物に１から３の視認レベルを付与する。そして、警報レベル決定部６００が、視認レベル決定部３００に付与された視認レベルを考慮して警報レベルを補正する。具体的には視認レベルが１の場合には当初の警報レベル（補正前の警報レベル）に１加算し、視認レベルが２に場合には当初の警報レベルを維持し、視認レベルが３の場合には当初の警報レベルを１減算する。このように警報レベルを決定すると、オペレータが障害物を視認可能かどうかが警報レベルに反映されるので、オペレータに対して適切な警報を出力することができる。

例えば、補正前の警報レベルが３の場合（図１４のステップ６０８を通過する場合）、補正前の警報レベルに従えば、表示装置１０ａを介した図１７の警告表示に加えて音声出力装置１０ｂにより警報が出力されるが、視認レベル決定部３００で決定された視認レベルが３の場合（つまり、障害物が視認可能領域内かつ中心視野内に存在し、オペレータが対象の障害物に気づいていると判断される場合（図１３のステップ３０５を通過する場合））には警報レベルが１減って２に補正される。これにより、音声出力装置１０ｂを介した警告音の出力が省略されるので、障害物を視認しているにも係わらず警告音が鳴ってオペレータが煩わしさを感じることを防止できる。つまり過剰な警報が抑制され適正化されるので、過剰な警報へのストレスに起因した作業効率の低下を防止できる。

また、バックモニタ１１やサイドミラー１５などの視覚補助装置を利用して障害物を視認する場合には肉眼による場合よりも視認性が低下することを考慮して、視認可能領域に障害物が存在していても従前と同じ警報レベルを維持することとした（図１３のステップ３０４を経由して３０６に至る場合）。これにより間接視界により視認性が低下しても警報がそれをリカバーする方向に作用するので、警報が不十分となることなく適正なレベルを維持できる。

その一方で、障害物がフロント作業装置１Ａの後ろ等の死角領域に存在する場合には、視認レベルは１に設定されるため、補正前の警報レベルが１増加するように構成されている。そのため、油圧ショベルの姿勢や動作の観点から視認できない場所に障害物が存在する場合には、警報によりその障害物を気づき易くなる。

＜第２実施形態＞
次に本発明の第２実施形態について説明する。
［構成］
図１８は第２実施形態に係るコントローラ５０の機能ブロック図である。第１実施形態との主な相違点は、ハードウェア構成として頭部位置検出装置８００及び視線検出装置９００を備える点と、バックモニタ１１（第１視覚補助装置）とサイドミラー１５（図１２参照）（第２視覚補助装置）という複数の視覚補助装置を備える点と、コントローラ５０内に視覚補助装置注視判定部１０００を備える点である。以下では主に第1実施形態と異なる点について説明し、説明しない部分については第1実施形態と同じとする。

頭部位置検出装置８００は、運転席１ｆ内に設置されたオペレータ頭部撮影用のステレオカメラであり、このステレオカメラで取得した画像からオペレータ頭部の特徴点を抽出し、視差画像を基に車体座標系における頭部の位置座標と方向を算出する。ここで得られた頭部位置情報はコントローラ５０内の死角算出部５００及び視覚補助装置注視判定部１０００に出力される。

視線検出装置９００は、オペレータ頭部に装着されるアイカメラであり、このアイカメラで取得したオペレータの目の周辺の画像を基に画像処理を通じてオペレータの瞳孔中心及び目頭の特徴点を抽出し、両者の相対位置を求める。更に、左右の目それぞれについて、瞳孔中心と目頭の相対位置から眼球の垂直回転角及び水平回転角を算出し、オペレータ頭部座標系における視線ベクトル（視線方向）を求める。得られた視線ベクトルは死角算出部５００及び視覚補助装置注視判定部１０００へ出力される。

視覚補助装置注視判定部１０００は、頭部位置検出装置８００から得られた頭部の位置情報を基に、視線検出装置９００から得られた頭部座標系におけるオペレータの視線ベクトルを車体座標系における視線ベクトルへと変換する。視覚補助装置注視判定部１０００は油圧ショベルに取り付けられたステレオカメラ１３ａ（バックモニタ１１）及びサイドミラー１５の位置情報を保有しており、視覚補助装置の位置とオペレータの視線ベクトルを比較することで、オペレータが２つの視覚補助装置のいずれかを注視しているか否か、また、注視している場合にはどの視覚補助装置を注視しているかを判別する。判別した結果は、死角算出部５００へ出力される。

図１９は、頭部位置検出装置８００、視線検出装置９００及び視覚補助装置注視判定部１０００を備える本実施形態の死角算出部５００における処理の流れを示したものである。

ステップ５０１で、死角算出部５００は、機械状態取り込み部４００から得られた車体の姿勢情報及び車体モデルデータ５３０を基に、現在の姿勢における車体モデルを生成する。

ステップ５０４では視覚補助装置注視判定部１０００からの入力に基づき、オペレータが視覚補助装置を注視しているかどうかを判定する。ここで視覚補助装置を注視していないと判定された場合にはステップ５０５に進み、注視していると判定された場合にはステップ５０６に進む。

ステップ５０５では、死角算出部５００は、視線検出装置９００と頭部位置検出装置８００からの入力をもとにオペレータの車体座標系上での視線ベクトルを求め、現在の姿勢を反映した車体モデルデータを用いた視界シミュレーションを実施することにより、フロント作業装置１Ａによって生じる死角を反映させた死角領域データＡを作成する。

ステップ５０６では、死角算出部５００は、バックモニタ１１とサイドミラー１５のいずれの視覚補助装置をオペレータが注視しているかという情報と、現在注視している視覚補助装置に係る視界補助装置パラメータ５５０（ステレオカメラ１３ａの画角、取り付け位置及び取り付け角度、または、サイドミラー１５の視界範囲、取り付け位置及び取り付け角度等の情報）を用いて死角領域データＢを作成する。

図１２は視覚補助装置としてサイドミラー１５を利用した場合の死角領域データＢの例を示した図である。注視している視覚補助装置が映している領域を視認可能領域５１１とし、その他の領域を死角領域５２１として設定する。なお、バックモニタ１１を注視している場合の死角領域データＢは図１１の例に従って視認可能領域５１１と死角領域５２１が設定される。

ステップ５０５またはステップ５０６で得られた死角領域データは視認レベル決定手段３００へ出力される。視認レベル決定部３００以降の処理については、第１実施形態に記載の内容と同様の流れで処理を行う。

［作用・効果］
上記のように頭部位置検出装置８００と視線検出装置９００を備える油圧ショベルでは、オペレータの視線方向を具体的に特定できる。これによりオペレータの視線方向を基にバックモニタ１１だけでなくサイドミラー１５の注視判定を行うことができるため、サイドミラー１５に映し出される領域を反映させた死角領域データＢを利用できる。また、パイロット圧センサ４１の検出値から油圧ショベルの動作を推測することに依らず、オペレータの視線方向を正確に求めることができるので、操作レバー２６に対して操作が無い状態や直進以外の走行操作を行っている場合においても、実際に注視している方向に基づいた視界シミュレーションを実施することが可能である。そのため、第１実施形態のように油圧ショベルの全周囲を死角領域とする死角領域データＣを生成する必要はなく、不要な警報や制御をさらに減らすことが可能となる。

＜特徴＞
上記の２つの実施形態に含まれる特徴についてまとめる。
（１）上記では、作業機械（油圧ショベル）の周囲に存在する障害物を検出する障害物検出部１００と、障害物検出部１００で検出された障害物と作業機械の位置関係を算出する位置関係算出部２００と、位置関係算出部２００で算出された位置関係に基づいて警報レベルを決定する警報レベル決定部６００と、警報レベル決定部６００で決定された警報レベルに応じた警報内容を警報出力装置１０に出力する警報出力部７００とを有するコントローラ（制御装置）５０を備える作業機械の周囲監視装置において、コントローラ５０は、作業機械の姿勢及び動作の情報を取得する機械状態取り込み部４００と、機械状態取り込み部４００が取得した作業機械の姿勢及び動作の情報に基づいて作業機械の運転席１ｆからの死角領域を算出する死角算出部５００と、死角算出部５００が算出した死角領域と位置関係算出部２００が算出した位置関係に基づいて障害物に対する視認レベルを決定する視認レベル決定部３００とをさらに有し、警報レベル決定部６００は、視認レベル決定部３００で決定された視認レベルに応じて警報レベルを補正することとした。

このような構成によれば、作業機械の姿勢と動作に基づいて視認レベル決定部３００で決定された視認レベルに応じて警報レベルが補正されるので、作業機械の死角領域に障害物が存在するか否かに応じて適切な警報を出力できる。

（２）上記（１）の作業機械の周囲監視装置では、死角算出部５００は、作業機械の動作に基づいてオペレータの視線を推定し、その視線と作業機械の姿勢に基づいて死角領域を算出することとした。

これにより、簡易な構成でオペレータの視線を推定でき、その推定結果に基づいて適切な死角領域を設定することが可能となった。

（３）上記（１）の作業機械の周囲監視装置では、作業機械のオペレータの頭部位置を検出する頭部位置検出装置８００と、オペレータの視線を検出する視線検出装置９００とをさらに備え、死角算出部５００は、頭部位置検出装置８００で検出された頭部位置、視線検出装置９００で検出された視線および作業機械の姿勢に基づいて死角領域を算出することとした。

これにより、オペレータの視線を正確に取得でき、その結果に基づいて適切な死角領域を設定することが可能となった。

（４）上記（２）−（３）のいずれかの作業機械の周囲監視装置において、油圧ショベルの周囲の所定の領域を映し出す視覚補助装置（バックモニタ、サイドミラー）１１，１５をさらに備え、死角算出部５００は、オペレータの視線に基づいてオペレータが視覚補助装置１１，１５を注視していると判定した場合、視覚補助装置１１，１５に映し出される領域に基づいて死角領域を算出し、オペレータの視線に基づいてオペレータが視覚補助装置１１，１５を注視していないと判定した場合、オペレータの視野に基づいて死角領域を算出することとした。

これにより肉眼の場合と死角補助装置を利用した場合とで異なる死角領域が設定されるので、適切な視認レベルを設定でき、結果的に適切な警報レベルを設定できる。

（５）上記（２）−（３）のいずれかの作業機械の周囲監視装置において、視認レベル決定部３００は、さらに、障害物からオペレータの視線までの距離に基づいて視認レベルを決定することとした。

このように構成すると、視線からの距離に応じて視認レベルを設定できるので、適切な警報レベルを設定できる。

（６）上記（５）の作業機械の周囲監視装置において、視認レベルはレベルが高いほど作業機械のオペレータが障害物を認識している可能性が高いことを示し、前記視認レベルには複数のレベルが設定されており、視認レベル決定部３００は、死角領域に障害物が位置する場合には視認レベルを第1レベルに決定し、死角領域に障害物が位置せずかつ視線が障害物から所定距離Ｄ１内に無い場合には視認レベルを第１レベルより高い第2レベルに設定し、死角領域に障害物が位置せずかつ視線が障害物から所定距離Ｄ１以上離れている場合には視認レベルを第２レベルより高い第３レベルに設定し、警報レベル決定部６００は、視認レベルが第1レベルのとき警報レベルを上げ、視認レベルが第２レベルのとき警報レベルを維持し、視認レベルが第３レベルのとき警報レベルを下げることとした。

これにより視認レベルが第３レベルに設定された場合には、障害物を視認しているにも係わらず障害物を視認していない場合と同じ警報が出力されてオペレータが煩わしさを感じることを防止できる。つまり過剰な警報が抑制され適正化されるので、過剰な警報へのストレスに起因した作業効率の低下を防止できる。

＜その他＞
なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

第１実施形態の視認レベル決定部３００は、ステップ３０３で障害物が中心視野に在るか否かを判定していたが、このステップ３０３の処理は省略可能である。ステップ３０３を省略した場合、ステップ３０２で障害物が死角に位置していない場合に進むステップは、作業現場の実情やオペレータの嗜好に合わせてステップ３０５（視認レベル３）とステップ３０６（視認レベル２）のどちらかを選択可能に構成することができる。

第２実施形態では、後方のステレオカメラ１３ａの映像が映し出されるバックモニタ１１に加えて、運転室１ｆの前方左側に取り付けたサイドミラー１５を視覚補助装置の１つとして利用する例を説明したが、他の場所に設けた鏡またはそれに類する機器・装置を視覚補助装置として利用することも可能である。

上記の各実施形態において、同時に複数の障害物が検出された場合には、その中で最も高い警報レベルに基づいて警報出力装置１０から警報を出力するようにすることができる。

障害物検出と検出した障害物までの距離検出にステレオカメラ１３を利用したが、レーザーセンサや超音波センサ等のステレオカメラと同等の機能を有するセンサに代替可能である。また、障害物検出に単眼カメラを使い、障害物までの距離検出にレーザーセンサや超音波センサを使用する等、複数種類のセンサを組合せて使用することも可能である。

上記では油圧ショベルを例に挙げて説明したが、運転室からのオペレータの視界を遮る可能性のある作業装置を備える作業機械（例えば、ホイールローダ、クレーン）であれば本発明は適用可能である。

また、上記のコントローラ（制御装置）５０に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記のコントローラ５０に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該コントローラ５０の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

また、上記の各実施の形態の説明では、制御線や情報線は、当該実施の形態の説明に必要であると解されるものを示したが、必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１Ａ…フロント作業装置、１Ｂ…車体、１ａ…ブーム、１ｂ…アーム、１ｃ…バケット、１ｄ…旋回体、１ｅ…走行体、１ｆ…運転室、３ａ，３ｂ，３ｃ…油圧アクチュエータ（油圧シリンダ）、３ｅ，３ｆ…走行モータ、８ａ，８ｂ，８ｃ…角度検出器、８ｅ…傾斜角センサ、４１…パイロット圧センサ、１３ａ，１３ｂ，１３ｃ，１３ｄ…ステレオカメラ（障害物検出器）、１０…警報出力装置、１１…バックモニタ（視覚補助装置）、１５…サイドミラー（視覚補助装置）、２０…車体制御部、１００…障害物検出部、２００…位置関係算出部、３００…視認レベル決定部、４００…機械状態取り込み部、５００…死角算出部、６００…警報レベル決定部、７００…警報出力部、７１０…表示画面例（警報レベル１）、７２０…表示画面例（警報レベル２〜５）、８００…頭部位置検出装置、９００…視線検出装置、１０００…視覚補助装置注視判定部

Claims (6)

1. 作業機械の周囲に存在する障害物を検出する障害物検出部と、
   前記障害物検出部で検出された前記障害物と前記作業機械の位置関係を算出する位置関係算出部と、
   前記位置関係算出部で算出された前記位置関係に基づいて警報レベルを決定する警報レベル決定部と、
   前記警報レベル決定部で決定された前記警報レベルに応じた警報内容を出力装置に出力する警報出力部とを有する制御装置を備える作業機械の周囲監視装置において、
   前記制御装置は、
   前記作業機械の姿勢及び動作の情報を取得する機械状態取り込み部と、
   前記機械状態取り込み部が取得した前記作業機械の姿勢及び動作の情報に基づいて前記作業機械の運転席からの死角領域を算出する死角算出部と、
   前記死角算出部が算出した前記死角領域と前記位置関係算出部が算出した前記位置関係に基づいて前記障害物に対する視認レベルを決定する視認レベル決定部とをさらに有し、
   前記警報レベル決定部は、前記視認レベル決定部で決定された前記視認レベルに応じて前記警報レベルを補正する
   ことを特徴とする作業機械の周囲監視装置。
2. 請求項１の作業機械の周囲監視装置において、
   前記死角算出部は、前記作業機械の動作に基づいてオペレータの視線を推定し、その視線と前記作業機械の姿勢に基づいて前記死角領域を算出する
   ことを特徴とする作業機械の周囲監視装置。
3. 請求項１の作業機械の周囲監視装置において、
   前記作業機械のオペレータの頭部位置を検出する頭部位置検出装置と、
   前記オペレータの視線を検出する視線検出装置とをさらに備え、
   前記死角算出部は、前記頭部位置検出装置で検出された前記頭部位置、前記視線検出装置で検出された前記視線および前記作業機械の姿勢に基づいて前記死角領域を算出する
   ことを特徴とする作業機械の周囲監視装置。
4. 請求項２の作業機械の周囲監視装置において、
   前記作業機械の周囲の所定の領域を映す視覚補助装置をさらに備え、
   前記死角算出部は、
   前記オペレータの視線に基づいてオペレータが前記視覚補助装置を注視していると判定した場合、前記視覚補助装置に映し出される領域に基づいて前記死角領域を算出し、
   前記オペレータの視線に基づいてオペレータが前記視覚補助装置を注視していないと判定した場合、前記オペレータの視野に基づいて前記死角領域を算出する
   ことを特徴とする作業機械の周囲監視装置。
5. 請求項２の作業機械の周囲監視装置において、
   前記視認レベル決定部は、さらに、前記障害物から前記視線までの距離に基づいて前記視認レベルを決定する
   ことを特徴とする作業機械の周囲監視装置。
6. 請求項５の作業機械の周囲監視装置において、
   前記視認レベルはレベルが高いほど前記作業機械のオペレータが障害物を認識している可能性が高いことを示し、前記視認レベルには複数のレベルが設定されており、
   前記視認レベル決定部は、前記死角領域に前記障害物が位置する場合には前記視認レベルを第1レベルに決定し、前記死角領域に前記障害物が位置せずかつ前記視線が前記障害物から所定距離内に無い場合には前記視認レベルを前記第１レベルより高い第2レベルに設定し、前記死角領域に前記障害物が位置せずかつ前記視線が前記障害物から所定距離以上離れている場合には前記視認レベルを前記第２レベルより高い第３レベルに設定し、
   前記警報レベル決定部は、前記視認レベルが第1レベルのとき前記警報レベルを上げ、前記視認レベルが前記第２レベルのとき前記警報レベルを維持し、前記視認レベルが前記第３レベルのとき前記警報レベルを下げる
   ことを特徴とする作業機械の周囲監視装置。

Images