以下、図面を参照して発明を実施するための形態について説明する。
[作業機械の構成]
まず、図1を参照して、本実施形態に係る周辺監視システム100(図2参照)が搭載される作業機械について説明をする。
図1は、本実施形態に係る周辺監視システム100が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。
尚、本実施形態に係る周辺監視システム100は、ショベル以外の任意の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。
本実施形態に係るショベルは、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、作業装置としてのブーム4、アーム5、及びバケット6と、オペレータが搭乗するキャビン10を備える。
下部走行体1は、例えば、左右1対のクローラを含み、各々のクローラが走行油圧モータ(不図示)で油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ、或いは、電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及びバケット6は、各々、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9により各々油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。
また、本実施形態に係るショベルは、周辺監視システム100に関連する構成要素として、コントローラ30と、撮像装置40と、表示装置50を備える。
コントローラ30は、ショベルの全体或いは後述する特定の機能に関する制御を行う。例えば、コントローラ30は、キャビン10内に搭載される。
撮像装置40は、上部旋回体3の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置40は、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。
後方カメラ40Bは、上部旋回体3の後端上部に取り付けられ、上部旋回体3の後方を撮像する。以下、後方カメラ40Bの撮像領域を「後方領域」と称する。
左側方カメラ40Lは、上部旋回体3の左端上部に取り付けられ、上部旋回体3の左側方を撮像する。以下、左側方カメラ40Lの撮像領域を「左側方領域」と称する。
右側方カメラ40Rは、上部旋回体3の右端上部に取り付けられ、上部旋回体3の右側方を撮像する。以下、右側方カメラ40Rの撮像領域を「右側方領域」と称する。
表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイである。
図2は、本実施形態に係る周辺監視システム100の構成の一例を示すブロック図である。
周辺監視システム100は、ショベルの周辺の所定範囲内への所定の監視対象の侵入を監視し、監視対象を検知した場合、オペレータ等への通知を行う。周辺監視システム100は、コントローラ30と、撮像装置40と、表示装置50を含む。
コントローラ30は、周辺監視システム100における各種制御処理を行う。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU(Central Processing Unit),RAM(Random Access Memory),ROM(Read Only Memory),I/O(Input-Output interface)等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、ROMに格納される各種プログラムをCPU上で実行することにより実現される機能部として、監視対象検知部301、表示制御部302、検知性能設定部303を含む。
撮像装置40は、上述の如く、後方カメラ40B、左側方カメラ40L、右側方カメラ40Rを含む。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む比較的広い上下方向の撮像範囲(画角)を有する。後方カメラ40B、左側方カメラ40L、右側方カメラ40Rは、ショベルの運転中、所定周期(例えば、1/30秒)毎に、撮像画像を出力し、コントローラ30に送信する。
表示装置50は、コントローラ30(具体的には、表示制御部302)による制御の下、各種情報画像を表示する。
監視対象検知部301は、ショベル周辺の所定の監視対象を検知する。監視対象は、例えば、人、作業車両(トラック)、その他の障害物等である。具体的には、監視対象検知部301は、撮像装置40により撮像された撮像画像に基づき、ショベルの周辺における所定領域(以下、「監視エリア」と称する)内の監視対象を検知する。より具体的には、監視対象検知部301は、予め規定される、或いは、ユーザによる設定操作や所定条件に応じて設定される検知周期毎に、監視エリアを対象として、撮像装置40の撮像画像から監視対象を検出する処理(画像処理)を行う。検知周期は、予め設定される一定の値であってもよいし、所定条件に応じて、動的に変化する値であってもよい。例えば、監視対象検知部301は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像装置40の撮像画像内の監視対象を認識すると共に、認識した監視対象の実在位置(ショベルから認識した人までの距離D等)を特定することができる。監視対象検知部301は、後述の如く、検知性能設定部303による各種設定(具体的には、後述するカメラID、部分処理時間Tp_i等)に基づき、動作する。監視対象検知部301は、後方検知部301Bと、左側方検知部301Lと、右側方検知部301Rを含む。
後方検知部301B(検知部の一例)は、後方カメラ40Bから入力される撮像画像に基づき、後方カメラ40Bの撮像領域(即ち、後方領域)における監視エリア内の監視対象を検知する。
左側方検知部301L(検知部の他の例)は、左側方カメラ40Lから入力される撮像画像に基づき、左側方カメラ40Lの撮像領域(即ち、左側方領域)における監視エリア内の監視対象を検知する。
右側方検知部301R(検知部の更に他の例)は、右側方カメラ40Rから入力される撮像画像に基づき、右側方カメラ40Rの撮像領域(即ち、右側方領域)における監視エリア内の監視対象を検知する。
尚、監視対象検知部301は、撮像装置40の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、LIDAR(LIght Detection And Ranging)、ステレオカメラ等の検出結果(距離画像等)に基づき、監視対象を検知してもよい。
表示制御部302は、オペレータの各種操作に応じて、表示装置50に各種情報画像を表示させる。例えば、表示制御部302は、オペレータによる所定操作に応じて、監視画像として、撮像装置40の撮像画像(スルー画像)を表示させる。この際、表示制御部302は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのうちの1つのカメラの撮像画像を表示装置50に表示させてもよいし、2以上のカメラの撮像画像を同時に表示装置50に表示させてもよい。また、例えば、表示制御部302は、撮像装置40の撮像画像に基づき、周辺画像を生成し、表示装置50に表示させる。具体的には、表示制御部302は、周辺画像として、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像(仮想視点から見た画像)を生成し、表示装置50に表示させてよい。
また、表示制御部302は、後述の如く、検知性能設定部303によって、例えば、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの一の検知部と他の検知部との間での性能のトレードオフや、監視対象を検知する性能に関する異なる性能項目間での性能のトレードオフ等が行われている場合、検知性能設定部303からの要求に応じて、表示装置50に当該性能のトレードオフが行われていることを示す情報を表示させる。
検知性能設定部303(性能変更部の一例)は、監視対象検知部301の監視対象を検知する性能(以下、「検知性能」と称する)の仕様、即ち、検知性能に関する一又は複数の性能項目の仕様を設定する。具体的には、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知性能に関する一又は複数の性能項目の仕様を設定する。検知性能に関する性能項目には、例えば、検知範囲(即ち、監視エリア)、検知精度、検知周期ごとの検知頻度(即ち、検知周期内において、対象の監視エリアに対する監視対象の検知を行う検知回数)等が含まれうる。
検知性能設定部303は、通常、検知性能に関する性能項目を予め規定される標準仕様に設定する。例えば、検知性能設定部303は、ショベルが起動すると、検知性能に関する性能項目を標準仕様に設定する。
また、検知性能設定部303は、オペレータによる所定操作(手動)や所定条件の成立(自動)等に基づく仕様変更要求に応じて、検知性能に関する性能項目の仕様を標準仕様から異なる他の仕様に変更する。監視対象検知部301は、コントローラ30に実装される機能部であるため、コントローラ30のリソース(例えば、CPUの処理速度、RAMの容量等)の範囲内でしか、その検知性能を変更することができない。また、監視対象検知部301による監視対象の検知周期は、その長短により監視対象の追跡精度に影響するため、検知周期を維持しつつ、その検知性能が変更されることが好ましい。即ち、監視対象検知部301による監視エリア内で監視対象を検知する処理時間は、所定の検知周期以下であることが好ましい。そのため、監視対象検知部301の検知性能は、設定された所定の検知周期やコントローラ30のリソース等に依存して、その上限が決まる。よって、検知性能設定部303は、検知性能に関する性能項目の仕様を、標準仕様と異なる仕様に設定(変更)する場合、監視対象検知部301の検知性能のある一部を高める代わりに、他の一部を低下させるトレードオフを行う。
例えば、検知性能設定部303は、後述の如く、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの少なくとも2つの検知性能を変更してよい。この場合、検知性能設定部303は、コントローラ30のリソースの範囲内で、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの少なくとも2つの検知性能を変更する。また、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rによる監視エリア全体での監視対象を検知する処理が検知周期内で完了するように、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの少なくとも2つの検知性能を変更する。具体的には、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの一部、即ち、一の検知部の検知性能を高める共に、他の一部、即ち、他の検知部の検知性能を低下させるトレードオフを行う。
尚、トレードオフにより後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で変更(調整)可能な性能の範囲には、上限が設けられる。後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々で各性能項目に求められる最低限の性能があるからである。
また、例えば、検知性能設定部303は、後述の如く、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの少なくとも1つにおいて、検知性能に関する複数の性能項目のうちの少なくとも2つの性能項目の相互間で、性能のトレードオフを行ってよい。この場合についても、同様に、検知性能設定部303は、コントローラ30のリソースの範囲内で、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの少なくとも1つにおける、少なくとも2つの性能項目を変更する。また、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rによる監視エリア全体での監視対象を検知する処理が検知周期内で完了するように、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの少なくとも1つにおける、少なくとも2つの性能項目を変更する。具体的には、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの少なくとも1つおいて、一の性能項目の仕様を性能が高まる方向に変更すると共に、他の性能項目の仕様を性能が低下する方向に変更するトレードオフを行う。
尚、トレードオフにより異なる性能項目間で変更(調整)可能な性能の範囲には、所定の上限が設けられる。各性能項目で求められる最低限の性能があるからである。
また、例えば、検知性能設定部303は、上述の如く、当該トレードオフを行った場合、表示制御部302に表示要求を送り、表示制御部302を介して、当該トレードオフが行われていることを示す情報を表示装置50に表示させる。これにより、トレードオフにより、例えば、ショベル周辺の後方領域、左側方領域、及び右側方領域のうちの一部の検知性能が低下していることを把握することができるため、オペレータに対して検知機能が低下している領域に対する注意を促すことができる。また、トレードオフにより、例えば、ショベル周辺の検知精度が高くなり、検知範囲が狭くなっているような場合に、オペレータに対して狭くなった検知範囲外の領域に対する注意を促すことができる。
検知性能設定部303は、更に細分化された機能部として、全体処理時間算出部3031、カメラID割り当て部3032、部分処理時間算出部3033、検知性能調整部3034を含む。
全体処理時間算出部3031は、監視対象検知部301が、検知周期内において、後方領域、左側方領域、及び右側方領域における監視エリア全体を対象として、監視対象を検知する処理(即ち、画像処理)に要することができる目標処理時間(全体処理時間Tp_all)を算出する。例えば、全体処理時間算出部3031は、コントローラ30の内部メモリ等に予め格納される算出式やマップ等を用いて、検出周期から全体処理時間Tp_allを算出する。
カメラID割り当て部3032は、検知周期内(即ち、当該検知周期の全体処理時間Tp_all内)で、監視対象を検知する処理(画像処理)が施される撮像画像を出力するカメラに対して、識別子であるカメラID(Identifier)を割り当てる。以下、カメラIDは、0以上の整数(0,1,2,...)である前提で説明を進める。カメラID割り当て部3032は、通常、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの全てに対して、相互に異なるカメラIDを1つずつ割り当てる。また、カメラID割り当て部3032は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの一部のカメラに対して、複数の相互に異なるカメラIDを割り当ててもよい。この場合、後述の如く、カメラIDごとに、即ち、割り当てられた各カメラIDに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの何れかに対して、検知周期内での処理時間(部分処理時間Tp_i)が与えられるため、検知周期内において、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの一部による監視対象を検知する処理が複数回行われる。即ち、カメラID割り当て部3032は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの何れかに複数のカメラIDを割り当てることにより、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの何れかの検知頻度を高めることができる。そのため、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間での検知頻度に差を設けることができる。カメラID割り当て部3032による処理の具体例については、後述する。
部分処理時間算出部3033は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rによる監視エリア全体での監視対象を検知する処理が検知周期内で完了するように、カメラID割り当て部3032により割り当てられたカメラIDごとの撮像画像に基づく監視対象の検知処理の目標処理時間、即ち、部分処理時間Tp_i(iは、カメラID)を算出する。換言すれば、部分処理時間算出部3033は、カメラIDに対応するカメラ(後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの何れか)の撮像画像に基づき監視対象を検知する機能、即ち、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの何れかによる監視対象の検知処理に与えられる部分処理時間Tp_iを合計で全体処理時間Tp_allの範囲内に収まるように算出する。部分処理時間Tp_iは、カメラIDに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの何れかによる監視対象の検知性能、即ち、後方領域、左側方領域、及び右側方領域のうちの何れか1つにおける監視対象の検知性能に影響する。例えば、部分処理時間Tp_iが比較的長くなると、後方検知部301B、左側方検知部301L、及び右側方検知部301Rは、より広い監視エリアを対象として監視対象を検知したり、撮像画像内をより細かくスキャンする等、より高い検知精度を確保したりすることができる。一方、部分処理時間Tp_iが比較的短くなると、逆に、監視エリアを比較的狭い範囲に限定したり、撮像画像内を粗くスキャンする等により検知精度を下げたりする必要が生じうる。即ち、部分処理時間算出部3033は、合計が全体処理時間Tp_all内に収まるように、カメラID割り当て部3032により割り当てられる複数のカメラIDの相互間での部分処理時間Tp_iを調整することにより、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの少なくとも2つの間で、検知性能のトレードオフを行い、相互間の検知性能に差を設けることができる。部分処理時間算出部3033による処理の具体例については、後述する。
検知性能調整部3034は、部分処理時間算出部3033により算出される、カメラIDごとの部分処理時間Tp_i、即ち、各カメラIDに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々による監視対象を検知する部分処理時間Tp_iに基づき、後方検知部301B、左側方検知部301L、右側方検知部301Rの各々における検知性能に関する複数の性能項目の仕様を調整する。即ち、検知性能調整部3034は、全体処理時間Tp_allの中から割り当てられる部分処理時間Tp_iの中で確保可能な検知性能を複数の性能項目にどのように配分するかを調整する。従って、検知性能調整部3034は、後方検知部301B、左側方検知部301L、右側方検知部301Rの各々における検知性能に関する複数の性能項目の仕様を具体的に設定することができる。そのため、例えば、検知性能調整部3034は、後方検知部301B、左側方検知部301L、右側方検知部301Rの相互間の各性能項目の仕様に差を設けることができる。また、例えば、検知性能調整部3034は、部分処理時間算出部3033による処理に応じて、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの少なくとも2つの間で、検知性能のトレードオフが行われる場合に、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々における各性能項目の具体的な仕様の調整を行うことができる。また、例えば、検知性能調整部3034は、後方検知部301B、左側方検知部301L、右側方検知部301Rの各々における検知性能に関する複数の異なる性能項目の間でのトレードオフを行い、複数の性能項目の相互間に差を設けることができる。検知性能調整部3034による処理の具体例については、後述する。
尚、検知性能調整部3034は、撮像画像内の画像処理を施す(即ち、スキャンする)範囲(画像処理範囲)を変更することにより、監視エリア(検知範囲)を調整(変更)してよい。また、検知性能調整部3034は、任意の方法で、後方検知部301B、左側方検知部301L、右側方検知部301Rの各々の検知精度を変更してよい。例えば、検知性能調整部3034は、撮像画像に含まれる監視対象を認識するために利用される識別器の能力を変更することにより、検知精度を調整(変更)してよい。具体的には、検知性能調整部3034は、識別器のパラメータを変更したり、識別能力の異なる複数の識別器を準備した上で、利用する識別器を変更したり等により識別器の能力を変更してよい。また、例えば、検知性能調整部3034は、撮像画像から監視対象が含まれる候補画像を抽出する際の上限の抽出数を変更することにより、後方検知部301B、左側方検知部301L、右側方検知部301Rの検知精度を調整(変更)してもよい。また、例えば、検知性能調整部3034は、撮像画像から監視対象が含まれる候補画像を抽出する(スキャンする)際の検査点密度を変更することにより、後方検知部301B、左側方検知部301L、右側方検知部301Rの検知精度を調整(変更)してもよい。
次に、図3〜図14を参照して、検知性能設定部303による処理の具体例について説明をする。
まず、図3〜図5は、検知性能設定部303により設定される、監視対象検知部301の検知性能に関する性能項目の標準仕様を説明する図である。具体的には、図3は、カメラID割り当て部3032によるカメラIDの割り当て状況の一例、即ち、標準仕様に対応するカメラIDの割り当て状況を模式的に示す図である。また、図4は、部分処理時間算出部3033により算出される、カメラID(i=0,1,2)ごとの目標処理時間(部分処理時間Tp_i)の一例、即ち、標準仕様に対応する部分処理時間Tp_iを示す図である。また、図5は、監視対象検知部301の検知性能の標準仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の標準仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
尚、図4では、簡単のため、ある検知周期から次の検知周期に遷移するための処理や、あるカメラIDに対応する監視対象の検知処理から他のカメラIDに対応する監視対象の検知処理に遷移するための処理等の付随的な処理が省略されている。以下、後述する図6、図10においても同様である。また、図5では、各監視エリアMAB,MAL,MARの外縁を示す線の太さは、各監視エリアMAB,MAL,MARに対応する後方検知部301B、左側方検知部301L、右側方検知部301Rの検知精度を示し、具体的には、線が太い程、検知精度が高いことを示す。また、図5では、各監視エリアMAB,MAL,MARの外縁を示す線の本数は、各監視エリアMAB,MAL,MARに対応する後方検知部301B、左側方検知部301L、右側方検知部301Rの検知周期ごとの検知頻度(検知回数)を示す。以下、後述する図7、図8、図11、図12、及び図14についても同様である。
図3に示すように、本仕様(標準仕様)では、カメラID割り当て部3032は、撮像装置40に含まれるカメラの個数分、即ち、3つだけカメラID(i=0,1,2)を生成し、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々に対して、1つずつカメラIDを割り当てる。具体的には、カメラID割り当て部3032は、後方カメラ40BにカメラID"0"、左側方カメラ40LにカメラID"1"、及び右側方カメラ40RにカメラID"2"を割り当てる。このように、標準仕様の場合、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々は、検知周期内(即ち、全体処理時間Tp_all内)で、1回ずつ、監視エリア内の監視対象を検知する処理を行い、相互間での検知頻度に差は設けられない。
また、図4に示すように、本仕様では、部分処理時間算出部3033は、"0"〜"2"のカメラIDごとに、同じ長さの部分処理時間Tp_0〜Tp_2、即ち、全体処理時間Tp_allを三等分した部分処理時間Tp_0〜Tp_2を算出する。このように、標準仕様の場合、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々には、監視エリア内の監視対象を検知する部分処理時間Tp_0〜Tp_2として同じ長さの時間が与えられ、相互間の性能差は設けられない。
また、図5に示すように、本仕様では、後方カメラ40Bに対応する後方検知部301B、左側方カメラ40Lに対応する左側方検知部301L、右側方カメラ40Rに対応する右側方検知部301Rの各々の監視エリアMAB,MAL,MARは、同じ広さを有する。また、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知精度及び検知周期ごとの検知頻度(検知回数)も同じである。このように、標準仕様の場合、検知性能調整部3034は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で、各性能項目、即ち、監視エリア(検知範囲)、検知精度、検知頻度等を同じに設定する。
続いて、図6、図7は、検知性能設定部303による監視対象検知部301の検知性能を標準仕様と異なる第1仕様に変更する処理の一例を説明する図である。具体的には、図6は、部分処理時間算出部3033により算出されるカメラIDごとの目標処理時間(部分処理時間Tp_i)の他の例、即ち、第1仕様に対応する部分処理時間Tp_iを模式的に示す図である。また、図7は、監視対象検知部301の検知性能の第1仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の第1仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
尚、本仕様(第1仕様)では、カメラID割り当て部3032は、標準仕様の場合と同様、上述した図3に示すように、後方カメラ40BにカメラID"0"を割り当て、左側方カメラ40LにカメラID"1" を割り当て、右側方カメラ40RにカメラID"2"を割り当てる。即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々は、検知周期内(即ち、全体処理時間Tp_all内)で、1回ずつ、監視エリア内の監視対象を検知する処理を行い、相互間での検知頻度に差は設けられない。
図6に示すように、本仕様では、部分処理時間算出部3033は、標準仕様の場合と異なり、カメラID"0"に対応する部分処理時間Tp_0を、カメラID"1"、"2"の各々に対応する部分処理時間Tp_1,Tp_2の2倍の時間として算出する。即ち、部分処理時間算出部3033は、後方検知部301Bの部分処理時間Tp_0を、左側方検知部301L、右側方検知部301Rの各々の部分処理時間Tp_1,Tp_2の2倍の時間として算出する。これにより、部分処理時間算出部3033は、後方検知部301Bの検知性能と、左側方検知部301L及び右側方検知部301Rの検知性能との間に差を設けることができる。具体的には、部分処理時間算出部3033は、標準仕様を基準として、後方検知部301Bの検知性能を高めると共に、左側方検知部301L、右側方検知部301Rの検知性能を低下させ、後方検知部301Bと左側方検知部301L及び右側方検知部301Rとの間で検知性能のトレードオフを行うことができる。
また、図7に示すように、本仕様では、後方検知部301Bの監視エリアMABは、標準仕様の場合の監視エリアMAB_stdより広がっており、左側方検知部301L、右側方検知部301Rの監視エリアMAL,MARは、標準仕様の場合の監視エリアMAL_std,MAR_stdよりも狭くなっている。一方、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知精度及び検知頻度は、標準仕様のから変化しておらず、相互に同じである。即ち、本仕様では、検知性能調整部3034は、標準仕様を基準として、後方検知部301Bの各性能項目のうちの検知範囲を広げる態様で検知性能を高めると共に、左側方検知部301L及び右側方検知部301Rの各性能項目のうちの検知範囲(即ち、同じ性能項目)を狭くする態様で検知性能を低下させる。
このように、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知性能を変更する。具体的には、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの一の検知部、即ち、後方検知部301Bの検知性能を高める共に、他の検知部、即ち、左側方検知部301L及び右側方検知部301Rの検知性能を低下させるトレードオフを行うことができる。
尚、検知性能設定部303は、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの何れか2つの検知部だけの性能を変更することにより、当該2つの検知部の相互間において、検知性能のトレードオフを行ってもよい。また、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの何れか2つの検知性能を高めると共に、残りの1つの検知性能を低下させるトレードオフを行ってもよい。以下、後述する第2仕様、第3仕様、第5仕様についても同様である。
また、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301Bの一の性能項目(検知範囲)の仕様を性能が高くなる方向に変更すると共に、左側方検知部301L及び右側方検知部301Rの同じ一の性能項目(検知範囲)の仕様を性能が低くなる方向に変更する。これにより、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で、同じ性能項目の間での性能のトレードオフを行うことができる。
尚、検知性能設定部303は、同じ一の性能項目として、検知範囲の代わりに、検知精度を変更してもよい。
また、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301Bの検知性能を高める態様で、後方検知部301Bと他の検知部(左側方検知部301L、右側方検知部301R)との間での検知性能のトレードオフを行う。そのため、ショベルの後方領域は、左側方領域や右側方領域に比して、キャビン10の操縦席に着座するオペレータから死角になり易いところ、後方領域の監視対象の検知を担当する後方検知部301Bの性能を優先的に高くすることにより、ショベル周辺の安全性を更に向上させることができる。以下、後述する第2仕様、第3仕様、及び第5仕様についても同様である。
尚、検知性能設定部303は、例えば、後方検知部301Bにより監視対象が検知された場合に、即ち、後方領域での監視対象の検知をトリガとして、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの検知性能を第1仕様に変更してよい。以下、後述する第2仕様、第3仕様、及び第5仕様についても同様である。
また、本仕様では、検知性能設定部303は、標準仕様を基準として、左側方検知部301Lの検知性能を低下させる態様で、一の検知部(後方検知部301B)と左側方検知部301Lとの間での性能のトレードオフを行う。そのため、ショベルの左側方領域は、ショベルの上部旋回体3の前部左側に搭載されるキャビン10から比較的視野が確保され易いところ、左側方領域の監視対象の検知を担当する左側方検知部301Lの性能を優先的に低くすることにより、トレードオフによる性能低下の影響を抑制することができる。以下、第2仕様、第3仕様、及び第5仕様についても同様である。
尚、本仕様では、右側方検知部301Rの検知性能も低下させるが、左側方検知部301Lの検知性能だけを低下させる態様であってもよい。以下、後述する第2仕様、第3仕様、及び第5仕様についても同様である。
続いて、図8は、検知性能設定部303による監視対象検知部301の検知性能を標準仕様と異なる第2仕様に変更する処理の一例を説明する図である。具体的には、図8は、監視対象検知部301の検知性能の第2仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の第2仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
尚、本仕様(第2仕様)では、カメラID割り当て部3032は、標準仕様及び第1仕様の場合と同様、上述した図3に示すように、後方カメラ40BにカメラID"0"を割り当て、左側方カメラ40LにカメラID"1" を割り当て、右側方カメラ40RにカメラID"2"を割り当てる。即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々は、検知周期内(即ち、全体処理時間Tp_all内)で、1回ずつ、監視エリア内の監視対象を検知する処理を行い、相互間での検知頻度に差は設けられない。また、本仕様では、部分処理時間算出部3033は、第1仕様の場合と同様、上述した図6に示すように、カメラID"0"に対応する部分処理時間Tp_0を、カメラID"1"、"2"の各々に対応する部分処理時間Tp_1,Tp_2の2倍の時間として算出する。即ち、部分処理時間算出部3033は、後方検知部301Bの部分処理時間Tp_0を、左側方検知部301L、右側方検知部301Rの各々の部分処理時間Tp_1,Tp_2の2倍の時間として算出する。これにより、部分処理時間算出部3033は、上述した第1仕様の場合と同様、後方検知部301Bの検知性能と、左側方検知部301L、右側方検知部301Rの検知性能との間に差を設けることができる。
図8に示すように、本仕様では、後方検知部301Bの監視エリアMABは、標準仕様の場合の監視エリアMAB_stdと同じであるが、左側方検知部301L、右側方検知部301Rの監視エリアMAL,MARは、標準仕様の場合の監視エリアMAL_std,MAR_stdよりも狭くなっている。一方、後方検知部301Bの検知精度は、高くなっているが、左側方検知部301L及び右側方検知部301Rの検知精度は、標準仕様の場合と同じである。また、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの検知頻度は、標準仕様の場合と同じである。即ち、本仕様では、検知性能調整部3034は、標準仕様を基準として、後方検知部301Bの各性能項目のうちの検知精度を高める態様で検知性能を高くすると共に、左側方検知部301L及び右側方検知部301Rの各性能項目のうちの検知範囲(即ち、異なる性能項目)を狭くする態様で性能を低下させる。
このように、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301Bの一の性能項目(検知精度)の仕様を性能が高くなる方向に変更すると共に、左側方検知部301L及び右側方検知部301Rの異なる他の性能項目(検知範囲)の仕様を性能が低くなる方向に変更する。具体的には、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で、異なる性能項目の間での性能のトレードオフを行うことができる。
続いて、図9〜図11は、検知性能設定部303による監視対象検知部301の検知性能を標準仕様と異なる第3仕様に変更する処理の一例を説明する図である。具体的には、図9は、カメラID割り当て部3032によるカメラIDの割り当て状況の更に他の例、即ち、第3仕様に対応するカメラIDの割り当て状況を模式的に示す図である。また、図10は、部分処理時間算出部3033により算出される、カメラID(i=0,1,2,3)ごとの目標処理時間(部分処理時間Tp_i)の更に他の例、即ち、第3仕様に対応する部分処理時間Tp_iを模式的に示す図である。また、図11は、監視対象検知部301の検知性能の第3仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の第3仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
図9に示すように、本仕様(第3仕様)では、カメラID割り当て部3032は、撮像装置40に含まれるカメラの個数よりも1つだけ多い4つのカメラID(i=0,1,2,3)を生成し、後方カメラ40Bに対して2つの異なるカメラIDを割り当てると共に、左側方カメラ40L及び右側方カメラ40Rの各々に対して1つのカメラIDを割り当てる。具体的には、カメラID割り当て部3032は、後方カメラ40BにカメラID"0"及び"2"を割り当て、左側方カメラ40LにカメラID"1"を割り当て、右側方カメラ40RにカメラID"3"を割り当てる。これにより、本仕様では、監視対象検知部301の検知周期内(即ち、全体処理時間Tp_all内)で、左側方検知部301L及び右側方検知部301Rの各々による監視対象を検知する処理が1回行われるのに対して、後方検知部301Bによる監視対象を検知する処理が2回行われる。即ち、本仕様では、カメラID割り当て部3032は、標準仕様を基準として、後方検知部301Bの検知周期ごとの検知頻度(検知回数)を高くする態様で検知性能を高める。
また、図10に示すように、本仕様では、部分処理時間算出部3033は、後方カメラ40Bに割り当てられたカメラID("0"及び"2")に対応する部分処理時間Tp_0,Tp_2を、標準仕様の場合と同じ(即ち、図4の部分処理時間Tp_0)と同じにする。一方、標準仕様の場合に対して、カメラIDが後方カメラ40Bに2個割り当てられているため、部分処理時間算出部3033は、左側方カメラ40L及び右側方カメラ40Rに割り当てられたカメラID("1"及び"3")に対応する部分処理時間Tp_1,Tp_3を、標準仕様の場合(即ち、図4の部分処理時間Tp_1,Tp_2)より短く、具体的には、1/2の長さにする。これにより、部分処理時間算出部3033は、後方検知部301Bの検知範囲(監視エリアMAB)及び検知精度を標準仕様と同じに維持しつつ、検知頻度を高めることができると共に、上述した第1仕様及び第2仕様の場合と同様、後方検知部301Bの検知性能と、左側方検知部301L、右側方検知部301Rの検知性能との間に差を設けることができる。
また、図11に示すように、本仕様では、後方検知部301Bの監視エリアMABは、標準仕様の場合における監視エリアMAB_stdと同じあるが、左側方検知部301L、右側方検知部301Rの監視エリアMAL,MARは、標準仕様の場合における監視エリアMAL_std,MAR_stdよりも狭くなっている。一方、上述したカメラID割り当て部3032による処理の作用により、後方検知部301Bの検知頻度は、高くなっているが、左側方検知部301L、右側方検知部301Rの検知頻度は標準仕様の場合と同じである。また、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの検知精度は、標準仕様の場合と同じである。即ち、本仕様では、検知性能調整部3034は、標準仕様を基準として、左側方検知部301L及び右側方検知部301Rの各性能項目のうちの検知範囲(即ち、検知精度とは異なる性能項目)を狭くする態様で性能を低下させる。
このように、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301Bの一の性能項目(検知頻度)の仕様を性能が高くなる方向に変更すると共に、左側方検知部301L及び右側方検知部301Rの異なる他の性能項目(検知範囲)の仕様を性能が低くなる方向に変更する。これにより、検知性能設定部303は、第2仕様の場合と同様、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で、異なる性能項目の間での性能のトレードオフを行うことができる。
また、本例では、カメラID割り当て部3032は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの一部、具体的には、後方検知部301Bに対して、複数のカメラIDを割り当てることにより、後方検知部301Bの検知周期ごとの検知頻度を容易に変更することができる。換言すれば、全体の検知周期を変更せずとも、より短い間隔で監視対象の検知を行うニーズがある領域(例えば、後方領域)を担当する一部の検知部だけの検知周期を実質的に短くすることができる。
続いて、図12は、検知性能設定部303による監視対象検知部301の検知性能を標準仕様と異なる第4仕様に変更する処理の一例を説明する図である。具体的には、図12は、監視対象検知部301の検知性能の第4仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の第4仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
尚、本仕様(第4仕様)では、カメラID割り当て部3032は、標準仕様、第1仕様、及び第2仕様の場合と同様、上述した図3に示すように、後方カメラ40BにカメラID"0"を割り当て、左側方カメラ40LにカメラID"1" を割り当て、右側方カメラ40RにカメラID"2"を割り当てる。即ち、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rに対応する後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々は、検知周期内(即ち、全体処理時間Tp_all内)で、1回ずつ、監視エリア内の監視対象を検知する処理を行い、相互間での検知頻度に差は設けられない。また、本仕様では、部分処理時間算出部3033は、標準仕様の場合と同様、上述した図4に示すように、部分処理時間算出部3033は、"0"〜"2"のカメラIDごとに、同じ長さの部分処理時間Tp_0〜Tp_2を算出する。即ち、本仕様では、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々には、監視エリア内の監視対象を検知する部分処理時間Tp_0〜Tp_2として同じ長さの時間が与えられ、相互間の性能差は設けられない。
図12に示すように、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の監視エリアMAB,MAL,MARは、標準仕様の場合の監視エリアMAB_std,MAL_std,MAR_stdよりも同程度だけ狭くなっている。一方、後方検知部301B,左側方検知部301L、及び右側方検知部301Rの各々の検知精度は、標準仕様の場合よりも同程度だけ高くなっている。また、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知精度(検知回数)は、標準仕様の場合と変わっておらず、相互に同じである。即ち、本仕様では、検知性能調整部3034は、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々において、各性能項目のうちの検知精度を高める態様で検知性能を高くすると共に、検知範囲(即ち、異なる性能項目)を小さくする態様で検知性能を低下させる。
このように、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々において、一の性能項目(検知精度)の仕様を性能が高くなる方向に変更すると共に、異なる他の性能項目(検知範囲)の仕様を性能が低くなる方向に変更する。これにより、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の中で、異なる性能項目の間での性能のトレードオフを行うことができる。
尚、検知性能設定部303は、検知範囲を広くすると共に、検知精度を低下させてもよい。また、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうちの何れか1つで或いは何れか2つの各々で、異なる性能項目の間での検知性能のトレードオフを行ってもよい。
続いて、図13、図14は、検知性能設定部303による監視対象検知部301の検知性能を標準仕様と異なる第5仕様に変更する処理の一例を説明する図である。具体的には、図13は、部分処理時間算出部3033により算出されるカメラIDごとの目標処理時間(部分処理時間Tp_i)の更に他の例、即ち、第5仕様に対応する部分処理時間Tp_iを模式的に示す図である。また、図14は、監視対象検知部301の検知性能の第5仕様を模式的に説明する図であり、より具体的には、本実施形態に係るショベルと後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rの各々の第5仕様における監視エリアMAB,MAL,MARを模式的に示す平面図である。
尚、本仕様(第5仕様)では、カメラID割り当て部3032は、第3仕様の場合と同様、上述した図9で示すように、後方カメラ40BにカメラID"0"及び"2"を割り当て、左側方カメラ40LにカメラID"1"を割り当て、右側方カメラ40RにカメラID"3"を割り当てる。これにより、本仕様では、監視対象検知部301の検知周期内(即ち、全体処理時間Tp_all内)で、左側方検知部301L及び右側方検知部301Rの各々による監視対象を検知する処理が1回行われるのに対して、後方検知部301Bによる監視対象を検知する処理が2回行われる。即ち、本仕様では、カメラID割り当て部3032は、第3仕様の場合と同様、標準仕様を基準として、後方検知部301Bの検知周期ごとの検知頻度(検知回数)を高くする態様で検知性能を高める。
図13に示すように、部分処理時間算出部3033は、"0"〜"3"のカメラIDごとに、同じ長さの部分処理時間Tp_0〜Tp_3、即ち、全体処理時間Tp_allを四等分した部分処理時間Tp_0〜Tp_3を算出する。そのため、本仕様では、後方検知部301Bによる2回の監視対象の検知処理の各々の部分処理時間Tp_0,Tp_2、左側方検知部301L及び右側方検知部301Rの各々による1回の監視対象の検知処理の部分処理時間Tp_1,Tp_3は、標準仕様の場合(図4の部分処理時間Tp_0〜Tp_2)よりも短く、具体的には、3/4の長さである。即ち、本仕様では、部分処理時間算出部3033は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の各回の監視対象の検知処理における検知性能を低下させる。
また、図14に示すように、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の監視エリアMAB,MAL,MARは、標準仕様の場合の監視エリアMAB_std,MAL_std,MAR_stdよりも同程度狭くなっている。一方、後方検知部301Bの検知頻度(検知回数)は、標準仕様より高くなっているが、左側方検知部301L及び右側方検知部301Rの検知頻度は、標準仕様の場合と同じである。また、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々の検知精度は、標準仕様と変わっておらず、相互に同じである。即ち、本仕様では、検知性能調整部3034は、標準仕様を基準として、後方検知部301Bの各性能項目のうちの検知頻度を高くする態様で検知性能を高めると共に、後方検知部301Bの各性能項目のうちの検知範囲(即ち、異なる性能項目)を狭くし、且つ、左側方検知部301L及び右側方検知部301Rの各性能項目のうちの検知範囲(即ち、異なる性能項目)を狭くする態様で性能を低下させる。
このように、本仕様では、検知性能設定部303は、標準仕様を基準として、後方検知部301Bの一の性能項目(検知頻度)の仕様を性能が高くなる方向に変更すると共に、後方検知部301Bの異なる他の性能項目(検知範囲)、及び左側方検知部301L及び右側方検知部301Rの異なる他の性能項目(検知範囲)の仕様を性能が低くなる方向に変更する。これにより、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間での検知性能のトレードオフと、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々における異なる性能項目間での検知性能のトレードオフを組み合わせて行うことができる。
尚、組み合わる場合についもても後方検知部301B、左側方検知部301L、及び右側方検知部301Rとの相互間で、同一の性能項目の間(例えば、検知範囲)での性能のトレードオフが行われてよい。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの相互間で検知性能のトレードオフを行う場合、優先的に検知性能が高くなる検知部(例えば、後方検知部301B)が予め規定されているが、当該態様には限定されない。例えば、後方検知部301B、左側方検知部301L、及び右側方検知部301Rの各々には、オペレータ等により設定可能な、或いは、予め設定される優先度が付与され、当該優先度に基づき、トレードオフを行う場合に優先的に検知性能を高くする一の検知部、或いは、優先的に検知性能を低くする他の検知部を決定してもよい。具体的には、検知性能設定部303は、オペレータによる所定操作や所定条件の成立等に基づく仕様変更要求に応じて、標準仕様を基準として、優先度が所定基準以上の一の検知部の検知性能を高くすると共に、優先度が所定基準より低い他の検知部の検知性能を低くしてもよい。即ち、検知性能設定部303は、後方検知部301B、左側方検知部301L、及び右側方検知部301Rのうち、相対的に優先度が高い一の検知部の検知性能を優先的に高くし、相対的に優先度が低い他の検知部の性能を優先的に低下させてよい。
また、上述した実施形態では、複数の検知部(後方検知部301B、左側方検知部301L、及び右側方検知部301R)に対して、検知性能のトレードオフが行われるが、当該構成には限定されない。例えば、監視対象検知部301によりカメラや距離センサ等の1つのセンサからの検知情報に基づき、ショベル周辺の監視対象を監視する場合についても、監視対象検知部301の検知性能に関する複数の性能項目のうちの少なくとも2つ性能項目の仕様を変更することにより、2つの性能項目の間での性能のトレードオフを行うことができる。