JP2020122376A - 作業機械 - Google Patents

作業機械 Download PDF

Info

Publication number
JP2020122376A
JP2020122376A JP2019016349A JP2019016349A JP2020122376A JP 2020122376 A JP2020122376 A JP 2020122376A JP 2019016349 A JP2019016349 A JP 2019016349A JP 2019016349 A JP2019016349 A JP 2019016349A JP 2020122376 A JP2020122376 A JP 2020122376A
Authority
JP
Japan
Prior art keywords
image
angle camera
wide
imaging device
shovel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019016349A
Other languages
English (en)
Other versions
JP7329928B2 (ja
Inventor
芳永 清田
Yoshinaga Kiyota
芳永 清田
俊介 大槻
Shunsuke Otsuki
俊介 大槻
晋 相澤
Susumu Aizawa
晋 相澤
丹亭 李
Danting Li
丹亭 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2019016349A priority Critical patent/JP7329928B2/ja
Publication of JP2020122376A publication Critical patent/JP2020122376A/ja
Application granted granted Critical
Publication of JP7329928B2 publication Critical patent/JP7329928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像画像に基づく対象物の検知や自機の周囲の画像表示等への遠方の光源の影響を抑制することが可能な作業機械を提供する。【解決手段】本発明の一実施形態の作業機械は、自機に相対的に近い領域から相対的に遠い領域に亘る第1の撮像範囲を撮像する撮像装置40と、第1の撮像範囲のうちの自機に相対的に近い領域を撮像する撮像装置45と、を備える。例えば、撮像装置40の撮像範囲には、撮像装置40の設置高さよりも上の範囲が含まれ、撮像装置45の撮像範囲には、撮像装置45の設置高さよりも上の範囲が含まれない。【選択図】図2

Description

本発明は、作業機械に関する。
自機に近い領域から遠方の領域まで相対的に広い範囲を撮像可能なカメラ(以下、「広角カメラ」)を搭載し、自機の周囲の対象物(例えば、人)を検知したり、運転室内の表示装置に自機の周囲の画像を表示させたりする作業機械が知られている(例えば、特許文献1参照)。
特開2014−181508号公報
しかしながら、広角カメラを利用する場合、自機の遠方の領域まで撮像範囲に含まれうるため、例えば、地平線より上の太陽や遠方のトラックの照明等の光源の影響で、撮像画像に非常に輝度が高い領域(以下、「高輝度領域」)が生じてしまう可能性がある。そのため、高輝度領域に起因するノイズが撮像画像に発生したり、自機の影や周囲の物体の影等により生じる非常に輝度が低い領域(以下、「低輝度領域」)と高輝度領域との双方をカバーすることで階調数が不足し、周囲の物体を認識しにくい撮像画像になったりする可能性がある。よって、この高輝度領域の影響で、作業機械が自機の周囲の対象物を適切に検知できなかったり、表示装置に作業機械の周囲が把握しにくい画像が表示されたりする可能性がある。
そこで、上記課題に鑑み、撮像画像に基づく対象物の検知や自機の周囲の画像表示等への遠方の光源の影響を抑制することが可能な作業機械を提供することを目的とする。
上記目的を達成するため、本発明の一実施形態では、
自機から見た相対的に近い領域から相対的に遠い領域に亘る撮像範囲を撮像する第1の撮像装置と、
前記第1の撮像装置の撮像範囲に含まれる、前記作業機械から見た相対的に近い領域を撮像する第2の撮像装置と、を備える、
作業機械が提供される。
上述の実施形態によれば、撮像画像に基づく対象物の検知や自機の周囲の画像表示等への遠方の光源の影響を抑制することが可能な作業機械を提供することができる。
ショベルの側面図である。 ショベルの上面図である。 周辺監視装置の構成の一例を示す図である。 広角カメラの撮像画像の一例を示す図である。 狭角カメラの撮像画像の一例を示す図である。 表示装置に表示されるカメラ切替設定画面の一例を示す図である。 表示装置に表示される監視画像の一例(スルー画像)を示す図である。 表示装置に表示される監視画像の他の例(俯瞰画像)を示す図である。 周辺監視装置によるカメラ切替処理の一例を示すフローチャートである。
以下、図面を参照して発明を実施するための形態について説明する。
[ショベルの概要]
まず、図1(図1A、図1B)を参照して、本実施形態に係るショベル100(作業機械の一例)の概要について説明をする。
図1A、図1Bは、本実施形態に係るショベル100の一例を示す図であり、具体的には、ショベル100の側面図である。
尚、本実施形態に係る周辺監視装置200は、ショベル100以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置200は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5、及び、バケット6と、キャビン10を備える。
下部走行体1は、例えば、左右一対のクローラ1C(左側のクローラ1CL及び右側のクローラ1CR)を含み、それぞれのクローラ1CL,1CRが走行油圧モータ1M(左側のクローラ1CLで油圧駆動されることにより、自走する。
上部旋回体3は、旋回油圧モータ2Aで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、上部旋回体3の前部左側に搭載される。キャビン10には、下部走行体1、上部旋回体3、アタッチメント(ブーム4、アーム5、及びバケット6)等の各種動作要素を操作するための操作装置26(例えば、レバー装置やペダル装置)が搭載される。
[周辺監視装置の構成]
次に、図1に加えて、図2を参照して、本実施形態に係るショベル100に搭載される周辺監視装置200の構成について説明をする。
図2は、本実施形態に係る周辺監視装置200の構成の一例を示すブロック図である。
周辺監視装置200は、ショベル100の周囲の所定範囲内への監視対象である所定の物体(以下、単に「監視対象」)の侵入を監視し、監視対象を検知した場合に、キャビン10内のオペレータやショベル100の周囲の作業者等に報知する。また、周辺監視装置200は、監視対象を検知した場合に、ショベル100の動作を制限し、ショベル100の周囲の安全性を確保するようにしてもよい。監視対象には、ショベル100の周囲で作業する作業者や作業現場の監督者等の人が含まれうる。また、監視対象には、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の物体(障害物)が含まれうる。以下、本実施形態では、監視対象が人である場合を中心に説明を続ける。
周辺監視装置200は、コントローラ30と、撮像装置40と、撮像装置45と、表示装置50と、操作入力装置52と、音声出力装置54を含む。
コントローラ30は、周辺監視装置200の機能に関する制御を行う制御装置である。コントローラ30は、例えば、キャビン10内に搭載される。
コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、これらの組み合わせにより実現されてよい。コントローラ30は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置(主記憶装置)、ROM(Read Only Memory)等の補助記憶装置、及びインターフェース装置等を含むマイクロコンピュータを中心に構成される。コントローラ30は、例えば、補助記憶装置にインストールされる一以上のプログラムをCPU上で実行することにより実現される機能部として、検知部301と、表示処理部302と、カメラ切替設定部303と、カメラ切替制御部304を含む。
尚、コントローラ30の機能の一部又は全部は、他のコントローラにより実現されてもよい。つまり、周辺監視装置200の機能は、複数のコントローラにより分担されることにより実現されてもよい。また、コントローラ30は、周辺監視装置200の機能以外のショベル100に関する制御を行ってもよい。つまり、コントローラ30は、周辺監視装置200の機能に特化した専用の制御装置であってもよいし、周辺監視装置200の機能を含むショベル100の各種機能に関する制御を行う汎用の制御装置であってもよい。
撮像装置40(第1の撮像装置の一例)は、上部旋回体3の上部に取り付けられ、ショベル100に相対的に近い領域(以下、「近接領域」)から相対的に遠い領域(以下、「遠方領域」)に亘るショベル100の周辺を撮像し、撮像画像を出力する。撮像装置40は、広角カメラ40F、広角カメラ40B、広角カメラ40L、及び広角カメラ40Rを含む。
広角カメラ40F、広角カメラ40B、広角カメラ40L、及び広角カメラ40Rは、それぞれ、上部旋回体3の前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の前方、後方、左側方、及び、右側方を撮像する。例えば、広角カメラ40B、広角カメラ40L、及び、広角カメラ40Rは、それぞれ、非常に広い画角を有する単眼カメラである。具体的には、広角カメラ40F、広角カメラ40B、広角カメラ40L、及び、広角カメラ40Rは、それぞれ、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面からショベル100の遠方、具体的には、地平線よりも上の範囲(換言すれば、設置高さよりも上の範囲)までを含む上下方向の撮像範囲を撮像する(図1の画角VA1参照)。広角カメラ40F、広角カメラ40B、広角カメラ40L、及び、広角カメラ40Rは、それぞれ、ショベル100の起動から停止までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ30に取り込まれる。
撮像装置45(第2の撮像装置の一例)は、上部旋回体3の上部に取り付けられ、ショベル100の周辺における撮像装置45の撮像範囲のうちのショベル100に相対的に近い近接領域だけを撮像し、撮像画像を出力する。
狭角カメラ45F、狭角カメラ45B、狭角カメラ45L、及び狭角カメラ45Rは、それぞれ、上部旋回体3の前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体3の前方、後方、左側方、及び、右側方を撮像する。例えば、狭角カメラ45B、狭角カメラ45L、及び、狭角カメラ45Rは、それぞれ、非常に広い画角を有する単眼カメラである。具体的には、狭角カメラ45F、狭角カメラ45B、狭角カメラ45L、及び、狭角カメラ45Rは、それぞれ、上部旋回体3の上部において、光軸が斜め下方に向くように取り付けられ、ショベル100の近傍の地面の部分を中心とする上下方向の撮像範囲、具体的には、地平線を含まず、地平線よりも下の撮像範囲(換言すれば、設置高さより上を含まず、設置高さよりも下の撮像範囲)を撮像する(図1の画角VA1参照)。狭角カメラ45F、狭角カメラ45B、狭角カメラ45L、及び、狭角カメラ45Rは、それぞれ、ショベル100の起動から停止までの間で、所定周期(例えば、1/30秒)ごとに、撮像画像を出力し、出力された撮像画像は、コントローラ30に取り込まれる。以下、狭角カメラ45F、狭角カメラ45B、狭角カメラ45L、及び、狭角カメラ45Rの任意の一つを便宜的に「狭角カメラ45X」と称する場合がある。
尚、ショベル100から見た同じ方向を撮像する広角カメラ40X及び狭角カメラ45Xは、相対的に近い距離に設置される限り、任意の配置関係であってよい。例えば、水平方向に並べて配置されてもよいし(図1A、図1B参照)、鉛直方向(上下方向)に並べて配置されてもよいし、水平方向と上下方向との間の斜め方向に並べて配置されてもよい。
例えば、図3(図3A、図3B)は、広角カメラ40X及び狭角カメラ45Xのそれぞれの撮像画像の一例(撮像画像410,420)を示す図である。
本例では、撮像画像410,420は、それぞれ、ショベル100から見て同じ方向を撮像する広角カメラ40X及び狭角カメラ45X(例えば、ショベル100の後方を撮像する広角カメラ40B及び狭角カメラ45B)により同じタイミングで撮像されている。
図3Aに示すように、広角カメラ40Xの撮像画像310には、ショベル100の近傍の地面(近接領域)から地平線よりも上の範囲(遠方領域)に亘る範囲のショベル100の周囲の様子が映っている。具体的には、ショベル100に隣接する他のショベルの全体が映っている。また、広角カメラ40Xの撮像画像310には、地平線よりも上の太陽が映り込んでいる。そのため、広角カメラ40Xの撮像画像410には、太陽光によるノイズが発生すると共に、ショベル100の近接領域に対応する画像領域(特に、他のショベルの陰の部分)が相対的に暗くなってしまっている。
一方、図3Bに示すように、狭角カメラ45Xの撮像画像320には、ショベル100の近傍の地面を中心とする近接領域だけのショベル100の周囲の様子が映っている。具体的には、ショベル100の近傍の地面、ショベル100に隣接する他のショベルの下部走行体、及び他のショベルの上部旋回体の下半部程度が映っている。また、狭角カメラ45Xの撮像範囲には、地平線が含まれないため、撮像画像320には、太陽光の影響がなく、他のショベルの陰の部分の画像領域も相対的に高い輝度が確保されている。
図1及び図2に戻り、表示装置50は、キャビン10内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作入力装置52を兼ねるタッチパネル式であってもよい。表示装置50は、後述の如く、コントローラ30(表示処理部302)の制御下で、例えば、撮像装置40の撮像画像及び撮像装置45の撮像画像の少なくとも一方に基づき、ショベル100(自機)の周囲の様子を表す画像(後述の監視画像)を表示する。
操作入力装置52は、オペレータからの周辺監視装置200の機能に関する各種機能に関する操作入力を受け付け、コントローラ30に出力する。操作入力装置52は、例えば、タッチパネル、タッチパッド、ボタン、トグル、回転ノブ等の任意のハードウェアの操作手段を含む。また、操作入力装置52は、例えば、表示装置50に表示される操作画面上の仮想的なボタンアイコン等、ハードウェアの操作手段を通じて操作可能なソフトウェアの操作手段を含んでもよい。
操作入力装置52は、切替操作部52aと、設定操作部52bを含む。
切替操作部52aは、周辺監視装置200の各種機能ごとに、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用させるかを手動で切り替えるための操作手段である。切替操作部52aは、検知部301用の切替操作部と、表示処理部302用の切替操作部を含んでよい。これにより、オペレータは、検知部301の機能及び表示処理部302の機能ごとに、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかを手動で切り替えることができる。また、切替操作部52aは、周辺監視装置200の各種機能ごとに、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアのそれぞれに対応する4つの切替操作部を含んでもよい。これにより、オペレータは、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアごとに、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用するかを手動で切り替えることができる。
設定操作部52bは、周辺監視装置200の各種機能ごとに、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用させるかに関する設定を行うための操作手段である。例えば、設定操作部52bは、検知部301の機能及び表示処理部302の機能ごとに、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかをコントローラ30に自動で決定させるか、オペレータが手動で行うかに関する設定操作を受け付け可能に構成されてよい。以下、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用させるかをコントローラ30に自動で決定させる設定を便宜的に「自動設定」と称し、オペレータが手動で決定する(切り替える)設定を便宜的に「手動設定」と称する場合がある。また、設定操作部52bは、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかの切替をオペレータが手動で行う場合、初期状態として、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のうちのどちらの撮像画像を利用させるかに関する設定操作を受け付け可能に構成されてもよい。この場合、設定操作部52bは、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかの切替をオペレータが手動で行う場合、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアごとに、初期状態として、広角カメラ40X及び狭角カメラ45Xのどちらを利用させるかに関する設定操作が受け付け可能に構成されてもよい。初期状態とは、例えば、ショベル100の起動に伴う周辺監視装置200(コントローラ30)の起動時の状態を含む。また、初期状態とは、ショベル100の起動から停止までの間で、周辺監視装置200に異常等が発生し、周辺監視装置200(コントローラ30等)が再起動するときの状態を含む。
例えば、図4は、設定操作部52bの具体例を示す図である。具体的には、図4は、表示装置50に表示される、検知部301の機能及び表示処理部302の機能ごとの撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかに関する設定操作を行うための操作画面(以下、「カメラ切替設定画面」)の一例(カメラ切替設定画面400)を示す図である。
カメラ切替設定画面400は、例えば、タッチパネル、タッチパッド、ボタン、レバー、トグル等のハードウェアの操作手段を通じて操作可能である。
図4に示すように、カメラ切替設定画面400は、ハードウェアの操作部を通じた操作対象としてのボタンアイコン401〜408を含む。
ボタンアイコン401は、検知部301の機能(図中の"物体検知機能")について、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかをコントローラ30に自動で決定させるための操作対象である。オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン401を指定し且つ決定する操作を行うことにより、ボタンアイコン401,402の中からボタンアイコン401を選択することができる。これにより、後述の如く、所定の条件に応じて、撮像装置40の撮像画像及び撮像装置45の撮像画像のうちの検知部301の機能で利用される撮像画像が自動で決定される。
尚、ボタンアイコン401を指定し且つ決定する操作には、例えば、表示装置50の表示領域に実装されるタッチパネルにおけるボタンアイコン401に対応する位置をタッチする操作が含まれる。また、ボタンアイコン401を指定し且つ決定する操作には、タッチパッド、ボタン、レバー、トグル等のハードウェアの操作手段を通じて、所定のカーソルをボタンアイコン401に合わせると共に、決定操作用のボタンを押下する操作が含まれる。以下、他のボタンアイコン402〜408についても同様である。
ボタンアイコン402は、検知部301の機能において、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかをオペレータが手動で決定する(切り替える)ための操作対象である。オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン402を指定し且つ決定する操作を行うことにより、ボタンアイコン401,402の中からボタンアイコン402を選択することができる。これにより、オペレータは、切替操作部52aを通じて、撮像装置40の撮像画像及び撮像装置45の撮像画像のうちの検知部301の機能で利用させる撮像画像を手動で決定する(切り替える)ことができる。
ボタンアイコン403は、ボタンアイコン402が選択されている場合に、初期状態として、検知部301の機能で撮像装置40(広角カメラ40X)の撮像画像を利用させる状態を選択するための操作対象である。ボタンアイコン403は、ボタンアイコン403F,403B,403L,403Rを含む。
ボタンアイコン403F,403B,403L,403Rは、それぞれ、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアを対象として、初期状態として、検知部301の機能で広角カメラ40Xの撮像画像を利用させる状態を選択するための操作対象である。これにより、オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン403F,403B,403L,403Rのそれぞれを指定し且つ決定する操作を行うことにより、ボタンアイコン403F,403B,403L,403Rを選択することができる。
ボタンアイコン404は、ボタンアイコン402が選択されている場合に、初期状態として、検知部301の機能で撮像装置45(狭角カメラ45X)を利用させる状態を選択するための操作対象である。ボタンアイコン404は、ボタンアイコン404F,404B,404L,404Rを含む。
ボタンアイコン404F,404B,404L,404Rは、それぞれ、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアを対象として、初期状態として、検知部301の機能で狭角カメラ45Xの撮像画像を利用させる状態を選択するための操作対象である。これにより、オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン404F,404B,404L,404Rのそれぞれを指定し且つ決定する操作を行うことにより、ボタンアイコン404F,404B,404L,404Rを選択することができる。
オペレータは、ボタンアイコン403F,404Fのうちのボタンアイコン403Fを選択することにより、初期状態として、検知部301の機能で広角カメラ40Fを利用させる状態を選択することができる。これにより、検知部301は、例えば、周辺監視装置200の起動(再起動含む)に伴い、広角カメラ40Fの撮像画像を利用して、その機能の実現するための動作を開始する。一方、オペレータは、ボタンアイコン403F,404Fのうちのボタンアイコン404Fを選択することにより、初期状態として、検知部301の機能で狭角カメラ45Fを利用させる状態を選択することができる。これにより、検知部301は、例えば、周辺監視装置200の起動(再起動含む)に伴い、狭角カメラ45Fの撮像画像を利用して、その機能の実現するための動作を開始する。ボタンアイコン403B,404F、ボタンアイコン403L,404L、及びボタンアイコン403R,404Rの組み合わせについても同様である。
本例では、ボタンアイコン401,402のうちのボタンアイコン401が選択されている(図中の梨地模様)。これにより、コントローラ30(カメラ切替制御部304)は、検知部301の機能について、オペレータの操作入力装置52(切替操作部52a)に対する操作に依らず、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかを自動で決定する。
ボタンアイコン405は、表示処理部302の機能(図中の"表示機能")について、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかをコントローラ30に自動で決定させるための操作対象である。オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン405を指定し且つ決定する操作を行うことにより、ボタンアイコン405,406の中からボタンアイコン405を選択することができる。これにより、後述の如く、所定の条件に応じて、撮像装置40の撮像画像及び撮像装置45の撮像画像のうちの表示処理部302の機能で利用される撮像画像が自動で決定される。
ボタンアイコン406は、表示処理部302の機能において、撮像装置40及び撮像装置45のどちらの撮像画像を利用させるかをオペレータが手動で決定する(切り替える)ための操作対象である。オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン406を指定し且つ決定する操作を行うことにより、ボタンアイコン405,406の中からボタンアイコン406を選択することができる。これにより、オペレータは、切替操作部52aを通じて、撮像装置40の撮像画像及び撮像装置45の撮像画像のうちの表示処理部302の機能で利用させる撮像画像を手動で決定する(切り替える)ことができる。
ボタンアイコン407は、ボタンアイコン406が選択されている場合に、初期状態として、表示処理部302の機能で撮像装置40(広角カメラ40X)の撮像画像を利用させる状態を選択するための操作対象である。ボタンアイコン407は、ボタンアイコン407F,407B,407L,407Rを含む。
ボタンアイコン407F,407B,407L,407Rは、それぞれ、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアを対象として、初期状態として、表示処理部302の機能で広角カメラ40Xの撮像画像を利用させる状態を選択するための操作対象である。これにより、オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン407F,407B,407L,407Rのそれぞれを指定し且つ決定する操作を行うことにより、ボタンアイコン407F,407B,407L,407Rを選択することができる。
ボタンアイコン408は、ボタンアイコン406が選択されている場合に、初期状態として、表示処理部302の機能で撮像装置45(狭角カメラ45X)を利用させる状態を選択するための操作対象である。ボタンアイコン408は、ボタンアイコン408F,408B,408L,408Rを含む。
ボタンアイコン408F,408B,408L,408Rは、それぞれ、ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアを対象として、初期状態として、表示処理部302の機能で狭角カメラ45Xの撮像画像を利用させる状態を選択するための操作対象である。これにより、オペレータは、ハードウェアの操作手段を通じて、ボタンアイコン408F,408B,408L,408Rのそれぞれを指定し且つ決定する操作を行うことにより、ボタンアイコン408F,408B,408L,408Rを選択することができる。
オペレータは、ボタンアイコン407F,408Fのうちのボタンアイコン407Fを選択することにより、初期状態として、表示処理部302の機能で広角カメラ40Fを利用させる状態を選択することができる。これにより、表示処理部302は、例えば、周辺監視装置200の起動(再起動含む)に伴い、広角カメラ40Fの撮像画像を利用して、その機能の実現するための動作を開始する。一方、オペレータは、ボタンアイコン407F,408Fのうちのボタンアイコン408Fを選択することにより、初期状態として、表示処理部302の機能で狭角カメラ45Fを利用させる状態を選択することができる。これにより、表示処理部302は、例えば、周辺監視装置200の起動(再起動含む)に伴い、狭角カメラ45Fの撮像画像を利用して、その機能の実現するための動作を開始する。ボタンアイコン407B,408F、ボタンアイコン407L,408L、及びボタンアイコン407R,408Rの組み合わせについても同様である。
図1及び図2に戻り、音声出力装置54は、キャビン10内の操縦席の周辺に設けられ、オペレータに通知する音を出力する。音声出力装置54は、例えば、スピーカやブザー等である。例えば、音声出力装置54は、コントローラ30から制御指令に基づき、警報音を出力する。
図1及び図2に戻り、検知部301は、撮像装置40及び撮像装置45の何れか一方で撮像された撮像画像に基づき、ショベル100の周辺の監視エリアにおいて、監視対象を検知する。検知部301で利用される撮像画像は、後述の如く、カメラ切替制御部304により決定される。
検知部301は、例えば、ショベル100から見た水平方向(以下、単に「水平方向」)、つまり、ショベル100が作業している(下部走行体1が接地している)平面(以下、便宜的に「作業平面」)に沿う方向に延在する監視エリア内において、監視対象を検知する。具体的には、検知部301は、ショベル100からの水平方向の距離Dが所定距離Dth(例えば、5メートル)以内の監視エリア内で、監視対象を検知する。
例えば、検知部301は、既知の各種画像処理手法や人工知能(AI:Artificial Intelligence)等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。
また、検知部301は、既知の各種手法を適用することにより、単眼の撮像装置40或いは撮像装置45の撮像画像に映っている、認識された監視対象(人)が存在する位置(例えば、足元位置)(以下、「実在位置」)を判定(推定)することができる。
例えば、検知部301は、認識された監視対象の撮像画像上における大きさ(例えば、撮像画像上の高さ方向の大きさ)に基づき、ショベル100から見た水平方向の位置(以下、「水平位置」)を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル100から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲(例えば、想定される人の身長の範囲)があるため、想定された大きさの範囲に含まれる当該監視対象のショベル100から見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、検知部301は、例えば、コントローラ30の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル100から見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視対象の実在位置(ショベル100からの水平位置)を推定することができる。
また、例えば、検知部301は、監視対象がショベル100(具体的には、下部走行体1)と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換(ホモグラフィ)等によって、その実在位置(例えば、足元位置)を推定することができる。この場合、撮像画像を構成するある部分(ある点)は、ショベル100と同じ平面上のある位置に対応づけられる。
また、検知部301は、監視エリア内で監視対象を検知した場合、キャビン10の内部或いは外部に向けて、警報を出力してよい。これにより、周辺監視装置200は、オペレータやショベル100の周辺の作業者、監督者等に対して、ショベル100の周辺の監視エリア内に監視対象(例えば、作業者等の人)が侵入したことを認識させることができる。そのため、周辺監視装置200は、オペレータに対して、ショベル100の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。
例えば、検知部301は、聴覚的な方法、つまり、音による警報を出力する。具体的には、検知部301は、音声出力装置54に制御指令を出力し、警告音を出力させる。
尚、検知部301は、各種条件に応じて、警告音の音高、音圧、音色等や、警告音(例えば、ブザー音)を周期的に吹鳴させる場合の吹鳴周期等を異ならせてもよい。
また、例えば、検知部301は、視覚的な方法、つまり、表示装置50への表示による警報を出力する。具体的には、検知部301は、表示処理部302に警報要求を出力する。そして、表示処理部302は、警報要求に応じて、表示装置50に表示される監視画像(スルー画像或いは視点変換画像)に映っている監視対象や、検知された監視対象のショベル100から見た位置に対応する監視画像上の位置を強調させてよい。より具体的には、表示処理部302は、監視画像上に映っている監視対象を囲む枠を重畳して表示させたり、検知された監視対象の実在位置に対応する監視画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置50は、オペレータに対する視覚的な警報を出力することができる。また、後述の如く、検知部301は、狭角カメラ45Xの撮像画像を用いて監視対象を検知し、表示処理部302は、広角カメラ40Xの撮像画像を用いて監視画像を表示装置50に表示させる場合がありうる。この場合であっても、表示処理部302は、検知された監視対象の実在位置に対応する監視画像上の位置にマーカ等を表示させ、監視画像上の監視対象に対応する位置を強調させることができる。ショベル100の前方エリア、後方エリア、左側方エリア、及び右側方エリアのうちの同じエリアを撮像する広角カメラ40Xと狭角カメラ45Xとの間の相対的な位置関係は固定されており、表示処理部302は、その位置関係を予め認識できるからである。
尚、検知部301は、上部旋回体3のハウス部に別途設けられうる外部用の表示装置を通じて、ショベル100の周辺の作業者や監督者等に視覚的な方法で警報を出力してもよい。また、検知部301は、触覚的な方法、例えば、オペレータが着座する操縦席を振動させる振動発生装置を通じて、警報を出力してもよい。
また、検知部301は、監視エリア内で検知されている監視対象と、ショベル100との位置関係に応じて、警報の種類(警報レベル)を異ならせてもよい。
例えば、検知部301は、監視エリア内で検知した監視対象が相対的にショベル100から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警報レベルが低い警報(以下、「注意レベルの警報」)を出力してよい。具体的には、検知部301は、検知した監視対象とショベル100との水平方向の距離Dが所定距離D1を超えている場合(D1<D≦Dthの場合)に、注意レベルの警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1を超えている領域を便宜的に「注意領域」と称する。一方、検知部301は、監視エリア内で検知した監視対象が相対的にショベル100から近い位置に存在する場合、監視対象がショベル100に接近し危険度が高まっていることを知らせる相対的に警報レベルが高い警報(以下、「警戒レベルの警報」)を出力してよい。具体的には、検知部301は、検知した監視対象とショベル100との水平方向の距離Dが所定距離D1以下である場合(D≦D1の場合)、警戒レベルの警報を出力してよい。以下、監視エリアのうちのショベル100からの距離Dが所定距離D1以下の領域を「警戒領域」と称する。
この場合、検知部301は、注意レベルの警報と警戒レベルの警報との間で、音声出力装置54から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、検知部301は、注意レベルの警報と警戒レベルの警報との間で、表示装置50に表示される監視画像(スルー画像或いは周辺画像)に含まれる監視対象や監視対象の位置を強調させるマーカ等の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、周辺監視装置200は、警報音や表示装置50に表示される監視対象等を強調させるマーカ等の相違によって、オペレータ等に警報レベル、つまり、監視対象のショベル100に対する接近度を把握させることができる。
また、検知部301は、警報出力開始後、検知部301により検知されていた監視対象が検知されなくなった場合、或いは、操作入力装置52を通じて、警報を解除する所定の操作が受け付けられた場合に、警報の出力を解除する。
尚、検知部301は、撮像装置40の撮像画像に代えて、或いは、加えて、ショベル100に搭載されうる他のセンサの検出情報を用いて、ショベル100の周辺の監視エリア内で、監視対象を検知してもよい。例えば、検知部301は、他のセンサとしてのステレオカメラ、ミリ波レーダ、LIDAR(Light Detecting and Ranging)等の検知情報に基づき、ショベル100の周辺の監視エリア内で、監視対象を検知してよい。
表示処理部302は、撮像装置40の撮像画像及び撮像装置45の撮像画像のうちの少なくとも一方に基づき、表示装置50にショベル100の周囲の様子(状況)を表す監視画像を表示させる。
例えば、表示処理部302は、監視画像として、広角カメラ40F又は狭角カメラ45F、広角カメラ40B又は狭角カメラ45B、広角カメラ40L又は狭角カメラ45L、及び、広角カメラ40R又は狭角カメラ45Rのショベル100から見た前方、後方、左側方、右側方の4方向のカメラの撮像画像のうちの少なくとも一つ(一方向)のカメラの撮像画像を表示装置50に表示させる。以下、表示装置50に表示される当該撮像画像を「スルー画像」と称する場合がある。広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像のうち、ショベル100から見た4方向ごとにどちらの撮像画像が利用されるかについては、後述の如く、カメラ切替制御部304により決定される。
尚、操作入力装置52に対する所定の操作に応じて、表示装置50に表示されるスルー画像に対応するショベル100から見た方向が切り替えられてよい。これにより、オペレータは、操作入力装置52を操作することで、自分が見たい方向のスルー画像を表示装置50に表示させることができる。
また、例えば、表示処理部302は、撮像装置40の撮像画像及び撮像装置45の撮像画像の少なくとも一方に基づき、複数のカメラの画像を合成した合成画像を生成し、合成画像を含む監視画像を表示装置50に表示させる。
具体的には、表示処理部302は、合成画像として、広角カメラ40F及び狭角カメラ45Fの少なくとも一方、広角カメラ40B及び狭角カメラ45Bの少なくとも一方、広角カメラ40L及び狭角カメラ45Lの少なくとも一方、並びに、広角カメラ40R及び狭角カメラ45Rの少なくとも一方の撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た視点変換画像を生成し、表示装置50に表示させる。また、表示処理部302は、合成画像を表示装置50に表示させる際、撮像装置40,45の撮像範囲とショベル100との相対位置関係を明示するため、ショベル100を模式的に表すショベル画像を併せて表示装置50に表示させる。即ち、表示処理部302は、ショベル画像と、ショベル100と撮像装置40,45の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される視点変換画像とを含む監視画像を生成し、表示装置50に表示させる。
尚、表示処理部302の機能は、表示装置50に内蔵されてもよい。
例えば、図5(図5A、図5B)は、表示装置50に表示される監視画像の具体例を示す図である。具体的には、図5Aは、表示装置50に表示される監視画像の一例(スルー画像を含む監視画像MP1)を示す図であり、図5Bは、表示装置50に表示される監視画像の他の例(視点変換画像を含む監視画像MP2)を示す図である。
図5Aに示すように、表示装置50には、監視画像MP1として、上述の如く、広角カメラ40Xの撮像画像(スルー画像)が表示されている。つまり、本例では、表示処理部302の機能について、広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像のうちの広角カメラ40Xの撮像画像が利用されている。これにより、オペレータは、ショベル100の周囲の状況(例えば、ショベル100の周囲における人等の監視対象の有無)を把握することができる。
また、図5Bに示すように、表示装置50には、ショベル画像CGと、ショベル画像CGの周囲に配置される視点変換画像EPとを含む監視画像MP2が表示される。これにより、オペレータは、周辺画像EPに人等の監視対象が写っている場合に、その監視対象と、ショベル100との位置関係を適切に把握することができる。
本例では、視点変換画像EPは、ショベル100に隣接する周辺領域を真上から見た俯瞰画像BVPと、当該俯瞰画像BVPの周りに配置される、ショベル100から当該周辺領域を水平方向に見た水平画像HVPとの組み合わせで構成される。視点変換画像EPは、広角カメラ40F,40B,40L,40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。つまり、本例では、表示処理部302の機能について、ショベル100から見た4方向の全てについて、広角カメラ40F,40B,40L,40Rの撮像画像に基づき、空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。
尚、狭角カメラ45Xの撮像画像から視点変換画像が生成される場合、当該視点変換画像の狭角カメラ45Xに基づく部分は、俯瞰画像だけで構成される。狭角カメラ45Xの上下方向の画角(撮像範囲)が相対的に狭く、水平画像を生成できないからである。
図1及び図2に戻り、カメラ切替設定部303は、設定操作部52bに対するオペレータの操作に応じて、周辺監視装置200の各種機能ごとに、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用させるかに関する設定を行う。そして、カメラ切替設定部303は、設定内容をカメラ切替制御部304(具体的には、補助記憶装置等のカメラ切替制御部304からアクセス可能な記憶領域)に登録する。
カメラ切替制御部304は、カメラ切替設定部303による設定内容に応じて、周辺監視装置200の各種機能ごとに、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)のどちらの撮像画像を利用させるかを決定する。
例えば、カメラ切替制御部304は、検知部301の機能について、カメラ切替設定部303による設定内容が"自動設定"の場合、初期状態として、検知部301に広角カメラ40Xの撮像画像を利用させてよい。そして、カメラ切替制御部304は、所定の条件が成立すると(例えば、広角カメラ40Xの撮像画像に所定基準を超える高輝度領域が発生すると)、検知部301に利用させる撮像画像を狭角カメラ45Xの撮像画像に切り替えてよい。上述の図4Aのように、広角カメラ40Xの撮像画像には、ショベル100から相対的に遠い遠方領域の光源(例えば、地平線より上の太陽や遠方のトラックの照明等)が映り込んでしまう可能性がある。そのため、遠方領域の光源の影響で、広角カメラ40Xの撮像画像に高輝度領域が発生し、結果として、撮像画像にノイズが発生したり、ショベル100の近接領域が暗くなってしまったりして、検知部301が監視対象を適切に認識できない可能性があるからである。
例えば、図6は、周辺監視装置200(カメラ切替制御部304)による広角カメラ40Xと狭角カメラ45Xとの間で周辺監視装置200の各種機能(本例では、検知部301)に利用されるカメラを切り替える処理(以下、「カメラ切替処理」)の一例を概略的に示すフローチャートである。本フローチャートは、ショベル100の起動から停止までの間で、カメラ切替設定部303による対象の機能の設定内容が"自動設定"の場合に、所定の処理周期ごとに繰り返し実行される。
ステップS102にて、カメラ切替制御部304は、広角カメラ40Xの撮像画像にkなする画像解析を行い、ステップS104に進む。
ステップS104にて、カメラ切替制御部304は、所定の条件が成立するか否か、具体的には、広角カメラ40Xの撮像画像の中に高輝度領域があるか否かを判定する。カメラ切替制御部304は、広角カメラ40Xの撮像画像の中に高輝度領域がない場合、ステップS106に進み、高輝度領域がある場合、ステップS108に進む。
尚、本ステップにて、カメラ切替制御部304は、広角カメラ40Xの撮像画像の中のショベル100から相対的に遠い遠方領域に対応する画像領域に限定して、高輝度領域があるか否かを判定してもよい。
ステップS106にて、カメラ切替制御部304は、広角カメラ40Xを選択し、今回の処理を終了する。これにより、対象の機能で広角カメラ40Xの撮像画像が利用されている場合、広角カメラ40Xの撮像画像の利用が継続され、対象の機能で狭角カメラ45Xが利用される状態に切り替えられている場合、広角カメラ40Xの撮像画像が利用される状態に切り替えられる(戻される)。
ステップS108にて、カメラ切替制御部304は、狭角カメラ45Xを選択し、今回の処理を終了する。これにより、対象の機能で狭角カメラ45Xの撮像画像が利用される状態に切り替えられている場合、狭角カメラ45Xの撮像画像の利用が継続され、対象の機能で広角カメラ40Xが利用されている場合、狭角カメラ45Xの撮像画像が利用される状態に切り替えられる。
尚、カメラ切替制御部304は、ショベル100から見た前方エリア、後方エリア、左側方エリア、及び右側方エリアの全てについて、一括的に、広角カメラ40Xと狭角カメラ45Xとの間の対象の機能での利用の切り替えを行ってもよいし、エリアごとに、広角カメラ40Xの撮像画像と狭角カメラ45Xの撮像画像との間の対象の機能での利用の切り替えを行ってもよい。つまり、図6のフローチャートは、全ての広角カメラ40Xを対象として実施されてもよいし、広角カメラ40Xごとに実施されてもよい。また、ステップS104で成否が判定される所定の条件は、"高輝度領域があること"以外の他の条件であってもよい。例えば、所定の条件は、"積雪があること"や"水溜りがあること"であってもよい。これにより、積雪や水溜りの影響でショベル100の近接領域から遠方領域に亘る広範囲の撮像画像(広角カメラ40Xの撮像画像)が利用されると物体を認識しにくくなるような状況であっても、検知部301は、撮像範囲が限定される、狭角カメラ45Xの撮像画像を用いて、より適切に監視対象を検知することができる。以下、表示処理部302の機能についても同様である。これにより、同様の状況であっても、表示処理部302は、撮像範囲が限定される、狭角カメラ45Xの撮像画像に基づく監視画像を表示装置50に表示させ、ユーザ(オペレータ)の視認性をより適切に確保することができる。また、所定の条件は、"相対的に複雑な形状の物体が複数映っていること"であってもよい。これにより、ショベル100の近接領域から遠方領域に亘る広範囲の撮像画像(広角カメラ40Xの撮像画像)が利用されると、撮像画像の情報量が相対的に多くなり過ぎて物体を認識しにくくなるような状況であっても、検知部301は、撮像範囲が限定される、狭角カメラ45Xの撮像画像を用いて、より適切に監視対象を検知することができる。以下、表示処理部302の機能についても同様である。これにより、同様の状況であっても、表示処理部302は、撮像範囲が限定される、狭角カメラ45Xの撮像画像に基づく監視画像を表示装置50に表示させ、ユーザ(オペレータ)の視認性をより適切に確保することができる。また、所定の条件は、"遠方領域に所定のマスク対象の物体が映っていること"であってもよい。これにより、検知部301は、検知対象から除外すべきマスク対象の物体が広角カメラ40Xの撮像画像に映っている状況であっても、狭角カメラ45Xの撮像画像を用いることで、マスク対象の物体を誤検知してしまうような事態を抑制することができる。以下、表示処理部302の機能についても同様である。これにより、表示処理部302は、表示装置50に表示させたくないマスク対象の物体が広角カメラ40Xの撮像画像に映っている状況であっても、狭角カメラ45Xの撮像画像を用いることで、確実に、マスク対象の物体を表示装置50に表示させないようにすることができる。
図1及び図2に戻り、また、例えば、カメラ切替制御部304は、検知部301の機能について、カメラ切替設定部303による設定内容が"自動設定"の場合、検知部301に利用させる撮像画像を狭角カメラ45Xの撮像画像に固定してもよい。これにより、検知部301は、広角カメラ40Xの撮像画像を利用しないため、遠方領域の光源の影響によって、適切に監視対象を検知できないような事態を確実に防止することができる。また、検知部301の監視エリアは、通常、ショベル100に相対的に近い近接領域の中に設定される場合が多く、検知部301は、ショベル100から相対的に遠い遠方領域の監視対象が検知できなくても実用上問題ないからである。
また、例えば、カメラ切替制御部304は、検知部301の機能について、カメラ切替設定部303による設定内容が"手動設定"の場合、初期状態として、広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像のうちの当該設定内容で指定(選択)されるカメラの撮像画像を検知部301に利用させる。そして、カメラ切替制御部304は、オペレータの切替操作部52aに対する操作に応じて、広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像の間で、検知部301に利用させる撮像画像を切り替える。
また、例えば、カメラ切替制御部304は、表示処理部302の機能について、カメラ切替設定部303による設定内容が"自動設定"の場合、初期状態として、表示処理部302に広角カメラ40Xの撮像画像を利用させてよい。そして、カメラ切替制御部304は、所定の条件が成立すると(例えば、広角カメラ40Xの撮像画像に所定基準を超える高輝度領域が発生すると)、表示処理部302に利用させる撮像画像を狭角カメラ45Xの撮像画像に切り替えてよい(図6参照)。上述の図4Aのように、遠方領域の光源の影響で、広角カメラ40Xの撮像画像に高輝度領域が発生し、表示処理部302の制御下で表示装置50に表示される監視画像の視認性が悪化する可能性があるからである。このとき、カメラ切替制御部304は、検知部301の機能の場合と同様、ショベル100から見た前方エリア、後方エリア、左側方エリア、及び右側方エリアの全てについて、一括的に、広角カメラ40Xと狭角カメラ45Xとの間の対象の機能での利用の切り替えを行ってもよいし、エリアごとに、広角カメラ40Xの撮像画像と狭角カメラ45Xの撮像画像との間の対象の機能での利用の切り替えを行ってもよい。
また、カメラ切替制御部304は、表示装置50の監視画像が合成画像(視点変換画像)である状態で、所定の条件が成立した場合、広角カメラ40X及び狭角カメラ45Xの双方の撮像画像を表示処理部302に利用させてもよい。具体的には、表示処理部302は、広角カメラ40Xに基づく合成画像のうちの狭角カメラ45Xの撮像範囲に対応する画像領域に、狭角カメラ45Xの撮像画像に基づく合成画像を重畳させた合成画像(視点変換画像)を表示装置50に表示させてよい。これにより、周辺監視装置200は、監視画像上において、ショベル100から相対的に遠い遠方領域の状況までオペレータが把握可能な状態を維持しつつ、遠方領域の光源の影響によるショベル100に相対的に近い近接領域の視認性の悪化を防止することができる。このとき、カメラ切替制御部304は、ショベル100から見た前方エリア、後方エリア、左側方エリア、及び右側方エリアの全てについて、広角カメラ40Xの撮像画像に基づく合成画像に、狭角カメラ45Xの撮像画像に基づく合成画像を重畳させてもよいし、所定の条件が成立した広角カメラ40Xに対応するエリアだけを対象として、狭角カメラ45Xの撮像画像に基づく合成画像を重畳させてもよい。
また、例えば、カメラ切替制御部304は、表示処理部302の機能について、カメラ切替設定部303による設定内容が"自動設定"の場合、表示処理部302に利用させる撮像画像を広角カメラ40Xの撮像画像に固定してもよい。例えば、オペレータが掘削作業の排土を積み込むためのトラックが遠方から近づいてくる状況を早期に把握する必要がある等、監視画像の視認性の悪化よりも、ショベル100から相対的に遠い遠方領域の状況の把握の方が優先される場合がありうるからである。
また、例えば、カメラ切替制御部304は、表示処理部302の機能について、カメラ切替設定部303による設定内容が"手動設定"の場合、初期状態として、広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像のうちの当該設定内容で指定(選択)されるカメラの撮像画像を表示処理部302に利用させる。そして、カメラ切替制御部304は、オペレータの切替操作部52aに対する操作に応じて、広角カメラ40Xの撮像画像及び狭角カメラ45Xの撮像画像の間で、表示処理部302に利用させる撮像画像を切り替える。
また、カメラ切替制御部304は、表示装置50の監視画像が合成画像(視点変換画像)である状態で、表示処理部302に利用させる撮像画像として、狭角カメラ45Xの撮像画像が手動選択された場合、上述の自動設定の場合と同様、広角カメラ40X及び狭角カメラ45Xの双方の撮像画像を表示処理部302に利用させてもよい。これにより、周辺監視装置200は、監視画像上において、ショベル100から相対的に遠い遠方領域の状況までオペレータが把握可能な状態を維持しつつ、遠方領域の光源の影響によるショベル100に相対的に近い近接領域の視認性の悪化を防止することができる。
[本実施形態の作用]
このように、本実施形態では、ショベル100は、自機に相対的に近い領域から相対的に遠い領域に亘る撮像範囲を撮像する撮像装置40(広角カメラ40X)と、撮像装置40(広角カメラ40X)の撮像範囲のうちの自機に相対的に近い領域を撮像する撮像装置45(狭角カメラ45X)と、を備える。
これにより、周辺監視装置200は、広角カメラ40Xと狭角カメラ45Xの双方を利用することができる。よって、周辺監視装置200は、広角カメラ40Xの撮像画像を利用することで、ショベル100の近接領域から遠方領域までの広い範囲を把握しつつ、狭角カメラ45Xを利用することで、撮像画像における遠方の光源の影響を抑制することができる。
また、本実施形態では、撮像装置40(広角カメラ40X)の撮像範囲には、撮像装置40(広角カメラ40X)の設置高さより上の範囲(即ち、地平線)が含まれ、撮像装置45(狭角カメラ45X)の撮像範囲には、撮像装置45(狭角カメラ45X)の設置高さよりも上の範囲(即ち、地平線)が含まれなくてよい。
これにより、周辺監視装置200は、広角カメラ40Xによって、具体的に、ショベル100の近接領域から遠方領域までの広い画角の撮像画像を取得しつつ、狭角カメラ45Xによって、遠方の光源の影響が抑制された撮像画像を取得することができる。
また、本実施形態では、表示装置50は、撮像装置40(広角カメラ40X)の撮像画像及び撮像装置45(狭角カメラ45X)の撮像画像のうちの少なくとも一方に基づき、自機の周囲の様子を表す画像(監視画像)を表示してよい。
これにより、周辺監視装置200は、広角カメラ40Xによって、オペレータにショベル100の近接領域から遠方領域に亘る広い範囲を把握させることができると共に、狭角カメラ45Xによって、ショベル100の周囲の様子をより良い視認性の画像で把握させることができる。
また、本実施形態では、検知部301は、撮像装置40(広角カメラ40X)の撮像画像及び撮像装置45(狭角カメラ45X)の撮像画像のうちの撮像装置45(狭角カメラ45X)の撮像画像に基づき、自機の周囲の所定の物体(監視対象)を検知する。そして、表示装置50は、撮像装置40(広角カメラ40X)の撮像画像及び撮像装置45(狭角カメラ45X)の撮像画像のうちの撮像装置40(広角カメラ40X)の撮像画像に基づき、自機の周囲の画像の様子を表す画像を表示してよい。
これにより、周辺監視装置200は、狭角カメラ45Xによって、光源の影響を抑制し、確実に監視対象を検知できると共に、広角カメラ40Xによって、オペレータにショベル100の近接領域から遠方領域に亘る広い範囲を把握させることができる。
また、本実施形態では、表示装置50は、撮像装置40(広角カメラ40X)の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態から、撮像装置45(狭角カメラ45X)の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態に移行してよい。
これにより、周辺監視装置200は、例えば、広角カメラ40Xの撮像画像に遠方の光源の影響があるような場合に、狭角カメラ45Xの撮像画像を表示させて、監視画像の視認性を向上させることができる。
また、本実施形態では、表示装置50は、撮像装置40(広角カメラ40X)の撮像画像に基づき、自機の周囲の様子を表す画像を表示している場合、撮像装置40(広角カメラ40X)の撮像画像に所定基準よりも輝度が高い領域が含まれるときに、撮像装置45(狭角カメラ45X)の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態に移行してよい。
これにより、周辺監視装置200は、具体的に、広角カメラ40Xの撮像画像に遠方の光源の影響が生じた場合に、狭角カメラ45Xの撮像画像を表示させて、監視画像の視認性を向上させることができる。
また、本実施形態では、表示装置50が、撮像装置40(広角カメラ40X)の撮像画像に基づき自機の周囲の様子を表す画像を表示する状態と、撮像装置45(狭角カメラ45X)の撮像画像に基づき自機の周囲の様子を表す画像を表示する状態とを自動で切り替えるか、手動で切り替えるかを選択可能な設定操作部52bを更に備えてよい。
これにより、周辺監視装置200は、オペレータの利便性を向上させることができる。
また、本実施形態では、表示装置50は、撮像装置40(広角カメラ40X)の撮像画像に基づく自機の周囲の様子を表す画像の上において、検知部301により撮像装置45(狭角カメラ45X)の撮像画像に基づき検知された監視対象の位置を表示してよい。
これにより、周辺監視装置200は、監視対象を検知する機能と監視画像を表示させる機能との間で利用される撮像画像が異なる場合であっても、撮像装置40(広角カメラ40X)と撮像装置45(狭角カメラ45X)との相対的な位置関係に基づき、監視画像上で、検知された監視対象の位置を明示することができる。
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態において、検知部301及び表示処理部302の何れか一方は省略されてもよい。つまり、上述した実施形態において、周辺監視装置200は、監視対象を検知する機能、及びショベル100(自機)の周囲の様子を表す画像を表示装置50に表示させる機能の少なくとも一方を有する態様であってよい。
また、上述した実施形態及び変形例において、撮像装置40(広角カメラ40X)及び撮像装置45(狭角カメラ45X)は、撮像可能な周波数範囲が相互に異なっていてもよい。例えば、広角カメラ40Xは、表示処理部302の機能、つまり、表示装置50に監視画像を表示させる機能への利用における視認性を優先した周波数範囲が設定され、狭角カメラ45Xは、検知部301の機能、つまり、監視対象の検知機能への利用における検知性能を優先した周波数範囲が設定されてもよい。
また、上述した実施形態及び変形例において、撮像装置45は、狭角カメラ45Xの代わりに、撮像装置45と同様に広角カメラで構成されてもよい。この場合、遠方領域(例えば、地平線よりも上の領域)を遮るように、広角カメラのレンズの上方に庇が設けられてもよい。これにより、広角カメラの撮像範囲を狭角カメラ45Xの場合と同様の制限することができる。また、この場合、広角カメラが相対的にショベル100(自機)に近い領域(例えば、地平線より下の領域)だけでオートゲイン調整を行うようにしてもよい。これにより、例えば、撮像画像の遠方領域に対応する部分に高輝度領域が発生するような状況であっても、高輝度領域がオートゲインの対象に含まれないため、階調数が不足し周囲の物体等を認識しにくい撮像画像が出力される事態を抑制できる。
また、上述した実施形態及び変形例において、撮像装置45の代わりに、機械的に遠方の光源を遮る可動式の庇を設けてもよい。
また、上述した実施形態及び変形例において、撮像装置45の代わりに、撮像装置40の中に撮像素子の利用範囲を制限する機構を設け、撮像装置40がショベル100の遠方領域を撮像可能な状態と撮像不可能な状態を切り替えてもよい。
また、上述した実施形態及び変形例において、検知部301は、撮像装置40及び撮像装置45の双方の撮像画像に基づき、ショベル100の周囲の監視エリア内の監視対象を検知してもよい。撮像装置40及び撮像装置45は、重複する撮像範囲を有しているからである。例えば、検知部301は、撮像装置40の撮像画像に基づく監視対象の検知処理と、撮像装置45の撮像画像に基づく監視対象の検知処理を並列して実行し、双方の検知結果を突き合わせた上で、監視対象の検知の有無や監視対象の自機に対する相対位置等を判断してもよい。これにより、監視対象が存在しないにも関わらず監視対象を検知してしまう誤検知を抑制することができると共に、監視対象が存在するにも関わらず監視対象の検知に失敗してしまう検知失敗を抑制し、ショベル100の安全性をより向上させることができる。
また、上述した実施形態及び変形例において、表示処理部302は、撮像装置40及び撮像装置45の双方の撮像画像を表示装置50に同時表示させてもよい。例えば、ショベル100が上部旋回体3から見た後方に走行する場合に、撮像装置40及び撮像装置45の双方の撮像画像を表示装置50に同時表示させる。これにより、オペレータは、撮像装置40の撮像画像で遠方の様子を中心に確認しつつ、撮像装置45の撮像画像でショベル100の近くの様子を確認することができる。そのため、オペレータは、一つの撮像画像でショベル100の近接領域から遠方領域までの範囲の様子を確認する場合と異なり、ショベル100の近接領域及び遠方領域を切り分けて判断することができ、ショベル100(上部旋回体3)の後方の様子を認識し易くなる。よって、ショベル100の安全性をより向上させることができる。また、オペレータの操作入力装置52に対する所定の操作に応じて、表示処理部302は、撮像装置40及び撮像装置45の双方の撮像画像を表示装置50に同時表示させる状態と、何れか一方の撮像画像を表示装置50に表示させる状態とを切り替えてもよい。これにより、オペレータの利便性を向上させることができる。
また、上述した実施形態及び変形例に係る周辺監視装置200は、ショベル100以外の任意の作業機械に搭載されてよい。例えば、周辺監視装置200は、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等に搭載されてもよい。
また、上述した実施形態及び変形例では、作業機械(ショベル100)は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の各種動作要素を全て油圧駆動する構成であったが、その一部又は全部が電気駆動される構成であってもよい。つまり、上述した実施形態で開示される周辺監視装置200等の構成等は、ハイブリッド式の作業機械や電動の作業機械等に適用されてもよい。
30 コントローラ
40 撮像装置(第1の撮像装置)
40B,40F,40L,40R 広角カメラ
45 撮像装置(第2の撮像装置)
45B,45F,45L,45R 狭角カメラ
50 表示装置
52 操作入力装置
52a 切替操作部
52b 設定操作部(操作部)
54 音声出力装置
100 ショベル(作業機械)
200 周辺監視装置
301 検知部
302 表示処理部
303 カメラ切替設定部
304 カメラ切替制御部

Claims (8)

  1. 自機に相対的に近い領域から相対的に遠い領域に亘る撮像範囲を撮像する第1の撮像装置と、
    前記第1の撮像装置の撮像範囲のうちの自機に相対的に近い領域を撮像する第2の撮像装置と、を備える、
    作業機械。
  2. 前記第1の撮像装置の撮像範囲には、前記第1の撮像装置の設置高さよりも上の範囲が含まれ、前記第2の撮像装置の撮像範囲には、前記第2の撮像装置の設置高さよりも上の範囲が含まれない、
    請求項1に記載の作業機械。
  3. 前記第1の撮像装置の撮像画像及び前記第2の撮像装置の撮像画像のうちの少なくとも一方に基づき、自機の周囲の様子を表す画像を表示する表示装置を更に備える、
    請求項1又は2に記載の作業機械。
  4. 前記第1の撮像装置の撮像画像及び前記第2の撮像装置の撮像画像のうちの前記第2の撮像装置の撮像画像に基づき、自機の周囲の所定の物体を検知する検知部と、を更に備え、
    前記表示装置は、前記第1の撮像装置の撮像画像及び前記第2の撮像装置の撮像画像のうちの前記第1の撮像装置の撮像画像に基づき、自機の周囲の画像の様子を表す画像を表示する、
    請求項3に記載の作業機械。
  5. 前記表示装置は、前記第1の撮像装置の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態から、前記第2の撮像装置の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態に移行する、
    請求項3又は4に記載の作業機械。
  6. 前記表示装置は、前記第1の撮像装置の撮像画像に基づき、自機の周囲の様子を表す画像を表示している場合、前記第1の撮像装置の撮像画像に所定基準よりも輝度が高い領域が含まれるときに、前記第2の撮像装置の撮像画像に基づき、自機の周囲の様子を表す画像を表示する状態に移行する、
    請求項5に記載の作業機械。
  7. 前記表示装置が、前記第1の撮像装置の撮像画像に基づき自機の周囲の様子を表す画像を表示する状態と、前記第2の撮像装置の撮像画像に基づき自機の周囲の様子を表す画像を表示する状態とを自動で切り替えるか、手動で切り替えるかを選択可能な操作部を更に備える、
    請求項3乃至6の何れか一項に記載の作業機械。
  8. 前記表示装置は、前記第1の撮像装置の撮像画像に基づく自機の周囲の様子を表す画像上において、前記検知部により検知された前記所定の物体の位置を表示する、
    請求項4に記載の作業機械。
JP2019016349A 2019-01-31 2019-01-31 作業機械 Active JP7329928B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019016349A JP7329928B2 (ja) 2019-01-31 2019-01-31 作業機械

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019016349A JP7329928B2 (ja) 2019-01-31 2019-01-31 作業機械

Publications (2)

Publication Number Publication Date
JP2020122376A true JP2020122376A (ja) 2020-08-13
JP7329928B2 JP7329928B2 (ja) 2023-08-21

Family

ID=71992363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019016349A Active JP7329928B2 (ja) 2019-01-31 2019-01-31 作業機械

Country Status (1)

Country Link
JP (1) JP7329928B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム

Also Published As

Publication number Publication date
JP7329928B2 (ja) 2023-08-21

Similar Documents

Publication Publication Date Title
JP7252137B2 (ja) 周辺監視装置
JP6456584B2 (ja) 作業機械用周辺監視装置
JP6352592B2 (ja) ショベル
US20140118533A1 (en) Operational stability enhancing device for construction machinery
US20220042286A1 (en) Shovel
JP7511547B2 (ja) 表示装置、ショベル、情報処理装置
JP2010112100A (ja) 作業機械の監視装置
JPH11222882A (ja) 危険領域監視装置
JP7258613B2 (ja) 作業機械
JP7463354B2 (ja) ショベル
JP2009121053A (ja) 建設・土木作業車両の作業安全監視システム
JP2014181509A (ja) 作業機械用周辺監視装置
JP6878025B2 (ja) 作業機械用周辺監視システム
JP2020183624A (ja) ショベル
JP2020183623A (ja) ショベル
JP2018111981A (ja) 作業機械用周辺監視システム
JP6290497B2 (ja) ショベル
KR102007535B1 (ko) 건설기계의 화면표시장치
JP2018197493A (ja) ショベル
KR20220002938A (ko) 쇼벨
JP7329928B2 (ja) 作業機械
JP6301536B2 (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
JP7125454B2 (ja) ショベル
JP7257357B2 (ja) ショベル及びショベル用のシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7329928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150