図1は、本発明の実施例に係る周辺監視システム100が搭載される建設機械としてのショベルの側面図である。ショベルの下部走行体1には、旋回機構2を介して上部旋回体3が旋回自在に搭載される。上部旋回体3には、ブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはバケット6が取り付けられる。ブーム4、アーム5、及びバケット6は掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。また、上部旋回体3には、キャビン10が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体3の上部には撮像装置40が取り付けられる。具体的には、上部旋回体3の後端上部、左端上部、右端上部に後方カメラ40B、左側方カメラ40L、右側方カメラ40Rが取り付けられる。また、キャビン10内にはコントローラ30及び出力装置50が設置される。
図2は、周辺監視システム100の構成例を示す機能ブロック図である。周辺監視システム100は、主に、コントローラ30、撮像装置40、及び出力装置50を含む。
コントローラ30は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ30は、CPU及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをCPUに実行させて各種機能を実現する。
また、コントローラ30は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ30は、撮像装置40及び入力装置41の出力を受け、抽出部31、識別部32、追跡部33、及び制御部35のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じて機械制御装置51に制御指令を出力してショベルの駆動制御を実行し、或いは、出力装置50から各種情報を出力させる。なお、コントローラ30は、画像処理専用の制御装置であってもよい。
撮像装置40は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ30に対して出力する。本実施例では、撮像装置40は、CCD等の撮像素子を採用するワイドカメラであり、上部旋回体3の上部において光軸が斜め下方を向くように取り付けられる。
入力装置41は操作者の入力を受ける装置である。本実施例では、入力装置41は、操作装置(操作レバー、操作ペダル等)、ゲートロックレバー、操作装置の先端に設置されたボタン、車載ディスプレイに付属のボタン、タッチパネル等を含む。
出力装置50は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ等の表示装置、各種音声情報を音声出力する車載スピーカ、警報ブザー、警報ランプ等を含む。本実施例では、出力装置50は、コントローラ30からの制御指令に応じて各種情報を出力する。
機械制御装置51は、ショベルの動きを制御する装置であり、例えば、油圧システムにおける作動油の流れを制御する制御弁、ゲートロック弁、エンジン制御装置等を含む。
抽出部31は、撮像装置40が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部31は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理(以下、「前段画像認識処理」とする。)によって識別処理対象画像を抽出する。識別処理対象画像は、後続の画像処理の対象となる画像部分(撮像画像の一部)であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分(撮像画像の一部)である。
識別部32は、抽出部31が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部32は、HOG(Histograms of Oriented Gradients)特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等の比較的演算量の多い画像処理(以下、「後段画像認識処理」とする。)によって人候補画像が人画像であるかを識別する。識別部32が人候補画像を人画像として識別する割合は、抽出部31による識別処理対象画像の抽出が高精度であるほど高くなる。なお、識別部32は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人候補画像の全てが人画像であると識別し、抽出部31が抽出した識別処理対象画像における人候補画像の全てを人であると識別してもよい。人の検知漏れを防止するためである。
次に、図3を参照し、後方カメラ40Bが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図3の2つの撮像画像は、後方カメラ40Bの撮像画像の例である。また、図3の点線円は人画像の存在を表し、実際の撮像画像には表示されない。
後方カメラ40Bは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ40Bから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ40Bに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ40Bの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。
そこで、本発明の実施例に係る周辺監視システム100は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば8変数の射影変換行列が用いられる。
ここで、図4〜図6を参照し、周辺監視システム100が識別処理対象画像を正規化する処理(以下、「正規化処理」とする。)の一例について説明する。なお、図4は、抽出部31が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。
図4のボックスBXは、実空間における仮想立体物であり、本実施例では、8つの頂点A〜Hで定められる仮想直方体である。また、点Prは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Prは、人の想定立ち位置として予め設定される点であり、4つの頂点A〜Dで定められる四角形ABCDの中心に位置する。また、ボックスBXのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ABCD及び四角形EFGHは正方形であり、一辺の長さは例えば800mmである。また、直方体の高さは例えば1800mmである。すなわち、ボックスBXは、幅800mm×奥行800mm×高さ1800mmの直方体である。
4つの頂点A、B、G、Hで定められる四角形ABGHは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域TRを形成する。また、仮想平面領域TRとしての四角形ABGHは、水平面である仮想地面に対して傾斜する。
なお、本実施例では、参照点Prと仮想平面領域TRとの関係を定めるために仮想直方体としてのボックスBXが採用される。しかしながら、撮像装置40の方向を向き且つ仮想地面に対して傾斜する仮想平面領域TRを任意の参照点Prに関連付けて定めることができるのであれば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。
図5は、ショベル後方の実空間の上面視であり、参照点Pr1、Pr2を用いて仮想平面領域TR1、TR2が参照された場合における後方カメラ40Bと仮想平面領域TR1、TR2との位置関係を示す。なお、本実施例では、参照点Prは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Prは、仮想地面上に不規則に配置されてもよく、後方カメラ40Bの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は1度刻みで放射状に伸び、参照点Prは各線分上に100mm間隔に配置される。
図4及び図5に示すように、四角形ABFE(図4参照。)で定められるボックスBXの第1面は、参照点Pr1を用いて仮想平面領域TR1が参照される場合、後方カメラ40Bに正対するように配置される。すなわち、後方カメラ40Bと参照点Pr1とを結ぶ線分は、参照点Pr1に関連して配置されるボックスBXの第1面と上面視で直交する。同様に、ボックスBXの第1面は、参照点Pr2を用いて仮想平面領域TR2が参照される場合にも、後方カメラ40Bに正対するように配置される。すなわち、後方カメラ40Bと参照点Pr2とを結ぶ線分は、参照点Pr2に関連して配置されるボックスBXの第1面と上面視で直交する。この関係は、参照点Prが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスBXは、その第1面が常に後方カメラ40Bに正対するように配置される。
図6は、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図6(A)は、後方カメラ40Bの撮像画像の一例であり、実空間における参照点Prに関連して配置されるボックスBXを映し出す。また、図6(B)は、撮像画像における識別処理対象画像の領域(以下、「識別処理対象画像領域TRg」とする。)を切り出した図であり、図6(A)の撮像画像に映し出された仮想平面領域TRに対応する。また、図6(C)は、識別処理対象画像領域TRgを有する識別処理対象画像を正規化した正規化画像TRgtを示す。
図6(A)に示すように、実空間上で参照点Pr1に関連して配置されるボックスBXは、実空間における仮想平面領域TRの位置を定め、そして、仮想平面領域TRに対応する撮像画像上の識別処理対象画像領域TRgを定める。
このように、実空間における参照点Prの位置が決まれば、実空間における仮想平面領域TRの位置が一意に決まり、撮像画像における識別処理対象画像領域TRgも一意に決まる。そして、抽出部31は、識別処理対象画像領域TRgを有する識別処理対象画像を正規化して所定サイズの正規化画像TRgtを生成できる。本実施例では、正規化画像TRgtのサイズは、例えば縦64ピクセル×横32ピクセルである。
図7は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図7(A1)は、撮像画像における識別処理対象画像領域TRg3を示し、図7(A2)は、識別処理対象画像領域TRg3を有する識別処理対象画像の正規化画像TRgt3を示す。また、図7(B1)は、撮像画像における識別処理対象画像領域TRg4を示し、図7(B2)は、識別処理対象画像領域TRg4を有する識別処理対象画像の正規化画像TRgt4を示す。同様に、図7(C1)は、撮像画像における識別処理対象画像領域TRg5を示し、図7(C2)は、識別処理対象画像領域TRg5を有する識別処理対象画像の正規化画像TRgt5を示す。
図7に示すように、撮像画像における識別処理対象画像領域TRg5は、撮像画像における識別処理対象画像領域TRg4より大きい。識別処理対象画像領域TRg5に対応する仮想平面領域と後方カメラ40Bとの間の距離が、識別処理対象画像領域TRg4に対応する仮想平面領域と後方カメラ40Bとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域TRg4は、撮像画像における識別処理対象画像領域TRg3より大きい。識別処理対象画像領域TRg4に対応する仮想平面領域と後方カメラ40Bとの間の距離が、識別処理対象画像領域TRg3に対応する仮想平面領域と後方カメラ40Bとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ40Bとの間の距離が大きいほど小さい。その一方で、正規化画像TRgt3、TRgt4、TRgt5は何れも同じサイズの長方形画像である。
このように、抽出部31は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部31は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分(以下、「頭部画像部分」とする。)を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分(以下、「胴体部画像部分」とする。)を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分(以下、「脚部画像部分」とする。)を配置する。また、抽出部31は、正規化画像の形状に対する人候補画像の傾斜(像倒れ)を抑えた状態で正規化画像を取得できる。
次に、図8を参照し、識別処理対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域(以下、「識別処理不適領域」とする。)を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域(以下、「車体映り込み領域」とする。)、撮像画像からはみ出た領域(以下、「はみ出し領域」とする。)等を含む。なお、図8は、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図7(C1)及び図7(C2)に対応する。また、図8左図の右下がりの斜線ハッチング領域は、はみ出し領域R1に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域R2に対応する。
本実施例では、抽出部31は、識別処理対象画像領域TRg5がはみ出し領域R1及び車体映り込み領域R2の一部を含む場合、それらの識別処理不適領域をマスク処理した後で、識別処理対象画像領域TRg5を有する識別処理対象画像の正規化画像TRgt5を生成する。なお、抽出部31は、正規化画像TRgt5を生成した後で、正規化画像TRgt5における識別処理不適領域に対応する部分をマスク処理してもよい。
図8右図は、正規化画像TRgt5を示す。また、図8右図において、右下がりの斜線ハッチング領域は、はみ出し領域R1に対応するマスク領域M1を表し、左下がりの斜線ハッチング領域は、車体映り込み領域R2の一部に対応するマスク領域M2を表す。
このようにして、抽出部31は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部32による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部32は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部31は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部32による識別処理に影響を及ぼさないようにしてもよい。
次に、図9を参照し、抽出部31が生成する正規化画像の特徴について説明する。なお、図9は、正規化画像の例を示す図である。また、図9に示す14枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ40Bから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ40Bから遠い位置に存在する人候補の画像を含む。
図9に示すように、抽出部31は、実空間における仮想平面領域TRと後方カメラ40Bとの間の後方水平距離(図5に示すY軸方向の水平距離)に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部31は、識別部32が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域TRと後方カメラ40Bとの間の位置関係に関する情報の一例であり、抽出部31は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域TRに対応する参照点Prと後方カメラ40Bとを結ぶ線分の後方カメラ40Bの光軸に対する上面視角度等を含む。
以上の構成により、周辺監視システム100は、撮像装置40の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域TRに対応する識別処理対象画像領域TRgから正規化画像TRgtを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置40の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置40に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人を確実に検知できる。
また、周辺監視システム100は、実空間における仮想直方体であるボックスBXの4つの頂点A、B、G、Hで形成される矩形領域として仮想平面領域TRを定義する。そのため、実空間における参照点Prと仮想平面領域TRとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域TRと撮像画像における識別処理対象画像領域TRgとを幾何学的に対応付けることができる。
また、抽出部31は、識別処理対象画像領域TRgに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部32は、車体映り込み領域R2を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。
また、抽出部31は、参照点Pr毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域TRgのそれぞれは、対応する仮想平面領域TRを介して、人の想定立ち位置として予め設定される参照点Prの1つに関連付けられる。そのため、周辺監視システム100は、人が存在する可能性が高い参照点Prを任意の方法で抽出することで、人候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検知処理の高速化を実現できる。
次に、図10及び図11を参照し、人候補画像を含む可能性が高い識別処理対象画像を抽出部31が抽出する処理の一例について説明する。なお、図10は、抽出部31が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図4に対応する。また、図11は、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。
特に、ヘルメットは、その形状がおよそ球体であり、その投影像が撮像画像上に投影されたときに撮像方向によらず常に円形に近いという特徴を有する。また、ヘルメットは、表面が硬質で光沢又は半光沢を有し、その投影像が撮像画像上に投影されたときに局所的な高輝度領域とその領域を中心とする放射状の輝度勾配を生じさせ易いという特徴を有する。そのため、ヘルメットの画像は、特徴画像として特に相応しい。なお、その投影像が円形に近いという特徴、局所的な高輝度領域を中心とする放射状の輝度勾配を生じさせ易いという特徴等は、撮像画像からヘルメットの画像を見つけ出す画像処理のために利用されてもよい。また、撮像画像からヘルメットの画像を見つけ出す画像処理は、例えば、輝度平滑化処理、ガウス平滑化処理、輝度極大点探索処理、輝度極小点探索処理等を含む。
本実施例では、抽出部31は、前段画像認識処理によって、撮像画像におけるヘルメット画像(厳密にはヘルメットであると推定できる画像)を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部31は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Prを導き出す。その上で、抽出部31は、その参照点Prに対応する識別処理対象画像を抽出する。
具体的には、抽出部31は、図10に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Prを導き出す。なお、図10の幾何学的関係は、実空間における仮想頭部位置HPを定める点で図4の幾何学的関係と相違するが、その他の点で共通する。
仮想頭部位置HPは、参照点Pr上に存在すると想定される人の頭部位置を表し、参照点Prの真上に配置される。本実施例では、参照点Pr上の高さ1700mmのところに配置される。そのため、実空間における仮想頭部位置HPが決まれば、実空間における参照点Prの位置が一意に決まり、実空間における仮想平面領域TRの位置も一意に決まる。また、撮像画像における識別処理対象画像領域TRgも一意に決まる。そして、抽出部31は、識別処理対象画像領域TRgを有する識別処理対象画像を正規化して所定サイズの正規化画像TRgtを生成できる。
逆に、実空間における参照点Prの位置が決まれば、実空間における仮想頭部位置HPが一意に決まり、実空間における仮想頭部位置HPに対応する撮像画像上の頭部画像位置APも一意に決まる。そのため、頭部画像位置APは、予め設定されている参照点Prのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置APは、参照点Prからリアルタイムに導き出されてもよい。
そこで、抽出部31は、前段画像認識処理により後方カメラ40Bの撮像画像内でヘルメット画像を探索する。図11上図は、抽出部31がヘルメット画像HRgを見つけ出した状態を示す。そして、抽出部31は、ヘルメット画像HRgを見つけ出した場合、その代表位置RPを決定する。なお、代表位置RPは、ヘルメット画像HRgの大きさ、形状等から導き出される位置である。本実施例では、代表位置RPは、ヘルメット画像HRgを含むヘルメット画像領域の中心画素の位置である。図11下図は、図11上図における白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置RPであることを示す。
その後、抽出部31は、例えば最近傍探索アルゴリズムを用いて代表位置RPの最も近傍にある頭部画像位置APを導き出す。図11下図は、代表位置RPの近くに6つの頭部画像位置AP1〜AP6が予め設定されており、そのうちの頭部画像位置AP5が代表位置RPの最も近傍にある頭部画像位置APであることを示す。
そして、抽出部31は、図10に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置APから、仮想頭部位置HP、参照点Pr、仮想平面領域TRを辿って、対応する識別処理対象画像領域TRgを抽出する。その後、抽出部31は、抽出した識別処理対象画像領域TRgを有する識別処理対象画像を正規化して正規化画像TRgtを生成する。
このようにして、抽出部31は、撮像画像における人の特徴画像の位置であるヘルメット画像HRgの代表位置RPと、予め設定された頭部画像位置APの1つ(頭部画像位置AP5)とを対応付けることで識別処理対象画像を抽出する。
なお、抽出部31は、図10に示す幾何学的関係を利用する代わりに、頭部画像位置APと参照点Pr、仮想平面領域TR、又は識別処理対象画像領域TRgとを直接的に対応付ける参照テーブルを利用し、頭部画像位置APに対応する識別処理対象画像を抽出してもよい。
また、抽出部31は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置RPから参照点Prを導き出してもよい。例えば、山登り法を用いる場合、抽出部31は、代表位置RPの近傍にある複数の頭部画像位置APを導き出し、代表位置RPとそれら複数の頭部画像位置APのそれぞれに対応する参照点Prとを紐付ける。このとき、抽出部31は、代表位置RPと頭部画像位置APが近いほど重みが大きくなるように参照点Prに重みを付ける。そして、複数の参照点Prの重みの分布を山登りし、重みの極大点に最も近い重みを有する参照点Prから識別処理対象画像領域TRgを抽出する。
次に、図12を参照し、コントローラ30の抽出部31が識別処理対象画像を抽出する処理(以下、「画像抽出処理」とする。)の一例について説明する。なお、図12は、画像抽出処理の一例の流れを示すフローチャートである。
最初に、抽出部31は、撮像画像内でヘルメット画像を探索する(ステップST1)。本実施例では、抽出部31は、前段画像認識処理により後方カメラ40Bの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。
撮像画像でヘルメット画像HRgを見つけ出した場合(ステップST1のYES)、抽出部31は、ヘルメット画像HRgの代表位置RPを取得する(ステップST2)。
その後、抽出部31は、取得した代表位置RPの最近傍にある頭部画像位置APを取得する(ステップST3)。
その後、抽出部31は、取得した頭部画像位置APに対応する識別処理対象画像を抽出する(ステップST4)。本実施例では、抽出部31は、図10に示す幾何学的関係を利用し、撮像画像における頭部画像位置AP、実空間における仮想頭部位置HP、実空間における人の想定立ち位置としての参照点Pr、及び、実空間における仮想平面領域TRの対応関係を辿って識別処理対象画像を抽出する。
なお、抽出部31は、撮像画像でヘルメット画像HRgを見つけ出さなかった場合には(ステップST1のNO)、識別処理対象画像を抽出することなく、処理をステップST5に移行させる。
その後、抽出部31は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する(ステップST5)。
撮像画像の全体を未だ探索していないと判定した場合(ステップST5のNO)、抽出部31は、撮像画像の別の領域に対し、ステップST1〜ステップST4の処理を実行する。
一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合(ステップST5のYES)、抽出部31は今回の画像抽出処理を終了させる。
このように、抽出部31は、最初にヘルメット画像HRgを見つけ出し、見つけ出したヘルメット画像HRgの代表位置RPから、頭部画像位置AP、仮想頭部位置HP、参照点(想定立ち位置)Pr、仮想平面領域TRを経て識別処理対象画像領域TRgを特定する。そして、特定した識別処理対象画像領域TRgを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像TRgtを生成できる。
以上の構成により、周辺監視システム100の抽出部31は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置RPと所定画像位置としての頭部画像位置APの1つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。
なお、抽出部31は、最初に撮像画像からヘルメット画像HRgを見つけ出し、そのヘルメット画像HRgの代表位置RPに対応する頭部画像位置APの1つを導き出し、その頭部画像位置APの1つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部31は、最初に頭部画像位置APの1つを取得し、その頭部画像位置APの1つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置APの1つに対応する識別処理対象画像を抽出してもよい。
また、抽出部31は、図10に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置RPから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域TRgと、識別処理対象画像領域TRgに対応する実空間における仮想平面領域TRと、仮想平面領域TRに対応する実空間における参照点Pr(人の想定立ち位置)と、参照点Prに対応する仮想頭部位置HP(人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置)と、仮想頭部位置HPに対応する撮像画像における頭部画像位置AP(仮想特徴位置に対応する撮像画像における所定画像位置)との幾何学的関係を表す。
ここで再び図2を参照し、コントローラ30の他の機能要素についての説明を継続する。
追跡部33は、識別部32が所定時間毎に出力する識別結果を追跡して最終的な人検知結果を出力する機能要素である。本実施例では、追跡部33は、連続する所定回数分の同一人に関する識別結果が所定条件を満たす場合に、対応する人候補画像が人画像であると判定する。すなわち、対応する三次元位置(実在位置)に人が存在すると判定する。同一人であるか否かはその実在位置に基づいて判定される。具体的には、追跡部33は、識別部32による1回目の識別処理において人画像であると識別された画像に写る人の実在位置(参照点PrI)に基づいて所定時間内にその人が到達可能な範囲を導き出す。到達可能な範囲は、ショベルの最大旋回速度、ショベルの最大走行速度、人の最大移動速度等に基づいて設定される。そして、2回目の識別処理において人画像であると識別された画像に写る人の実在位置(参照点PrII)がその範囲内であれば同一人であると判定する。3回目以降の識別処理についても同様である。そして、追跡部33は、例えば、連続する6回の識別結果のうちの4回で同一人の人画像であると識別された場合に、対応する三次元位置に人が存在すると判定する。また、1回目の識別処理において人画像であると識別された場合であっても、その後の連続する3回の識別処理において同一人の人画像が識別されなかった場合には、対応する三次元位置には人が存在しないと判定する。
このように、抽出部31、識別部32、及び追跡部33の組み合わせは、撮像装置40の撮像画像に基づいてショベルの周辺に人が存在するか否かを検知する人検知部34を構成する。
この構成により、人検知部34は、誤報(人が存在しないにもかかわらず人が存在すると判定すること)、失報(人が存在するにもかかわらず人が存在しないと判定すること)等の発生を抑制できる。
また、人検知部34は、人画像であると識別された画像に写る人の実在位置の推移に基づき、人がショベルに近づいているのかショベルから遠ざかっているのかを判断できる。そして、人検知部34は、その人の実在位置のショベルからの距離が所定値を下回った場合に制御部35に制御指令を出力して警報を出力させてもよい。この場合、人検知部34は、ショベルの動作情報(例えば旋回速度、旋回方向、走行速度、走行方向等)に応じて所定値を調整してもよい。
また、人検知部34は少なくとも2段階の人検知状態と人非検知状態とを判別して認識してもよい。例えば、距離に関する条件、及び、信頼性に関する条件のうちの少なくとも一方が満たされた状態を第1人検知状態(警戒状態)と判断し、双方が満たされた状態を第2人検知状態(警報状態)と判断してもよい。距離に関する条件は、例えば、人画像であると識別された画像に写る人の実在位置のショベルからの距離が所定値未満であることを含む。信頼性に関する条件は、例えば、連続する6回の識別結果のうちの4回で同一人の人画像であると識別されることを含む。第1人検知状態(警戒状態)では、確度は低いがレスポンスが早い予備的な警報としての第1警報が出力される。第1警報は、例えば小音量のビープ音であり、2つの条件が何れも満たされなくなった場合に自動的に停止される。第2人検知状態(警報状態)では、確度は高いがレスポンスが遅い正式な警報としての第2警報が出力される。第2警報は、例えば大音量のメロディ音であり、少なくとも一方の条件が満たされなくなったとしても自動的に停止されず、その停止には操作者の操作が必要とされる。
制御部35は、各種装置を制御する機能要素である。本実施例では、制御部35は入力装置41を介した操作者の入力に応じて各種装置を制御する。例えば、タッチパネルを通じて入力された画像切換指令に応じて車載ディスプレイの画面に表示される表示画像を切り換える。表示画像は、後方カメラ40Bのスルー画像、右側方カメラ40Rのスルー画像、左側方カメラ40Lのスルー画像、視点変換画像等を含む。視点変換画像は、例えば、複数のカメラの撮像画像から合成される鳥瞰画像(ショベルの真上にある仮想視点から見た画像)である。
また、制御部35は、人検知部34を構成する追跡部33の最終的な人検知結果に応じて各種装置を制御する。例えば、追跡部33の最終的な人検知結果に応じて機械制御装置51に制御指令を出力してショベルの状態を第1状態と第2状態との間で切り換える。第1状態は、ショベルの動きの制限が解除されている状態、警報の出力が停止されている状態等を含む。第2状態はショベルの動きを制限し或いは停止させている状態、警報を出力させている状態等を含む。本実施例では、制御部35は、追跡部33の最終的な人検知結果に基づいてショベルの周辺の所定範囲内に人が存在すると判定した場合、機械制御装置51に制御指令を出力してショベルの状態を第1状態から第2状態に切り換える。例えば、ショベルの動きを停止させる。この場合、操作者による操作は無効にされる。具体的には、ゲートロック弁に制御指令を出力して操作装置を油圧システムから切り離すことで無操作状態を強制的に創出してショベルの動きを停止させる。或いは、エンジン制御装置に制御指令を出力してエンジンを停止させてもよい。或いは、油圧アクチュエータに流入する作動油の流量を制御する制御弁に制御指令を出力して制御弁の開口面積、開口面積変化速度等を変化させることで油圧アクチュエータの動きを制限してもよい。この場合、最大旋回速度、最大走行速度等が低減される。
また、制御部35は、ショベルの状態を第2状態とした後で所定の解除条件が満たされた場合にショベルの状態を第1状態に戻す。すなわち、ショベルの動きを制限し或いは停止させた後で所定の解除条件が満たされた場合にその制限又は停止を解除する。所定の解除条件は、例えば、「ショベル周辺の所定範囲内に人が存在しないと判定すること」(以下、「第1解除条件」とする。)を含む。また、所定の解除条件は、例えば、「ショベルが動き出さない状態が確保されていること」(以下、「第2解除条件」とする。)を追加的に含む。また、所定の解除条件は、「ショベル周辺に人がいないことが操作者によって確認されたこと」(以下、「第3解除条件」とする。)を含んでいてもよい。なお、本実施例では、ショベルの動きが制限或いは停止されているか否か、第1解除条件、第2解除条件、第3解除条件のそれぞれが満たされているか否かはフラグを用いて管理される。
第1解除条件は、例えば、「人検知部34を構成する追跡部33の最終的な人検知結果に基づいて制御部35がショベル周辺の所定範囲内に人が存在しないと判定すること」を含む。
第2解除条件は、例えば、「全ての操作装置が所定時間以上にわたって中立位置になっていること」、「ゲートロックレバーが下ろされていること(操作装置が無効となっていること)」、「全ての操作装置から操作者の手足が離されていること」、「所定のボタン操作が行われたこと」等を含む。「全ての操作装置が中立位置になっていること」は、例えば、各操作装置からの指令の有無、各操作装置の操作量を検出するセンサの出力値等に基づいて制御部35が検知する。「所定時間以上にわたって」という条件は瞬間的に中立位置になっただけで第2解除条件が満たされてしまうのを防止する効果がある。「操作装置から操作者の手足が離されていること」は、例えば、運転室内を撮像するカメラの撮像画像、操作装置(例えば操作レバーのグリップ)に取り付けられた静電センサの出力等に基づいて制御部35が検知する。「所定のボタン操作が行われたこと」は、例えば、車載ディスプレイの画面に「ショベルが動き出さない状態が確保されていますか?」といったメッセージが表示された状態で確認ボタン(例えばホーンボタン又は同じ画面上に表示されたソフトウェアボタン)が押下された場合に制御部35が検知する。
第3解除条件は、例えば、車載ディスプレイの画面に「ショベル周辺に人がいないことを確認しましたか?」といったメッセージが表示された状態で確認ボタンが押下された場合に満たされる。なお、第3解除条件は省略されてもよい。
所定の解除条件に第3解除条件が含まれる場合、第1解除条件と第2解除条件が満たされると、ショベルは制限解除可能状態となる。制限解除可能状態は、ショベル周辺に人がいないことを操作者が確認しさえすれば制限を解除できる状態を意味する。
第1解除条件、第2解除条件、及び第3解除条件のそれぞれが満たされる順番に制限はない。例えば、第3解除条件、第2解除条件、第1解除条件の順で条件が満たされた場合であっても、制御部35はショベルの動きの制限又は停止を解除する。
また、制御部35は、所定の解除条件が満たされた後で所定の待ち時間が経過したときにその制限又は停止を解除してもよい。急な解除によって操作者を慌てさせることがないようにするためである。
また、制御部35は、ショベルの動きを制限し或いは停止させた場合、出力装置50としての車載ディスプレイに制御指令を出力し、その原因となった人画像が含まれる撮像画像を表示させてもよい。例えば、左側方カメラ40Lの撮像画像のみに人画像が含まれる場合、左側方カメラ40Lのスルー画像を単独で表示させてもよい。或いは、左側方カメラ40Lの撮像画像と後方カメラ40Bの撮像画像のそれぞれに人画像が含まれる場合、2つのカメラのそれぞれのスルー画像を並べて同時に表示させてもよく、2つのカメラの撮像画像を含む1つの合成画像(例えば視点変換画像)を表示させてもよい。また、制限中又は停止中であることを表す画像、解除方法のガイダンス等を表示させてもよい。また、人画像であると識別された人候補画像に対応する画像部分を強調表示してもよい。例えば、識別処理対象画像領域TRgの輪郭線を所定色で表示してもよい。また、所定の解除条件が満たされた後の待ち時間を設定している場合には、所定の解除条件が満たされたときにその旨を表示した上で、待ち時間のカウントダウンを表示してもよい。また、待ち時間中に警報を出力している場合には待ち時間の経過と共にその警報の音量を徐々に小さくしてもよい。
また、制御部35は、ショベルの動きを制限し或いは停止させた場合、出力装置50としての車載スピーカに制御指令を出力し、その原因となった人が存在する側で警報を出力させてもよい。この場合、車載スピーカは、例えば、運転室内の右壁に設置された右側方スピーカ、左壁に設置された左側方スピーカ、及び後壁に設置された後方スピーカで構成される。そして、制御部35は、左側方カメラ40Lの撮像画像のみに人画像が含まれる場合、左側方スピーカのみから警報を出力させる。或いは、制御部35は複数のスピーカを含むサラウンドシステムを用いて音を定位させてもよい。
また、制御部35は、人検知部34が人候補画像を人画像であると識別した場合に、ショベルの動きを制限し或いは停止させることなく警報のみを出力させてもよい。この場合も制御部35は上述のように距離に関する条件及び信頼性に関する条件のうちの少なくとも一方が満たされた状態を第1人検知状態(警戒状態)と判断し、双方が満たされた状態を第2人検知状態(警報状態)と判断してもよい。そして、制御部35は、ショベルの動きを制限し或いは停止させた場合と同様に、所定の解除条件が満たされた場合に第2人検知状態(警報状態)での警報を停止させてもよい。自動的に停止され得る第1人検知状態(警戒状態)での警報とは異なり、第2人検知状態(警報状態)での警報の停止には操作者の操作が必要とされるためである。
次に、図13を参照し、コントローラ30の制御部35がショベルの周辺を監視する処理(以下、「周辺監視処理」とする。)の一例について説明する。図13は、周辺監視処理の一例の流れを示すフローチャートであり、コントローラ30は所定の制御周期で繰り返しこの周辺監視処理を実行する。
最初に、制御部35は、ショベル周辺に人が存在するか否かを判定する(ステップST11)。本実施例では、制御部35は、追跡部33の最終的な人検知結果に基づいてショベル周辺に人が存在するか否かを判定する。
その後、ショベル周辺に人が存在すると判定した場合(ステップST11のYES)、制御部35はショベルの動きを制限し或いは停止させる(ステップST12)。本実施例では、制御部35は、例えば、現在の人検知状態が第2人検知状態(警報状態)であると判断した場合にショベル周辺に人が存在すると判定してショベルの動きを停止させる。
このとき、制御部35は出力装置50としての車載スピーカに制御指令を出力して第2警報を出力させる。また、出力装置50としての車載ディスプレイに制御指令を出力して制限又は停止の原因となった人画像が含まれる撮像画像を表示させる。
ショベル周辺に人が存在しないと判定した場合(ステップST11のNO)、制御部35はショベルの動きが既に制限或いは停止されているか否かを判定する(ステップS13)。本実施例では、制御部35は、対応するフラグの値を参照してショベルの動きが既に制限或いは停止されているか否かを判定する。
ショベルの動きが既に制限或いは停止されていると判定した場合(ステップST13のYES)、制御部35は、その制限又は停止を解除するための処理(以下、「制限解除処理」とする。)を実行する(ステップST14)。
ショベルの動きが未だ制限或いは停止されていないと判定した場合(ステップST13のNO)、制御部35は、制限解除処理を実行することなく、今回のショベル周辺監視処理を終了させる。
次に、図14を参照し、コントローラ30の制御部35がショベルの動きの制限又は停止を解除する処理について説明する。図14は制限解除処理の一例の流れを示すフローチャートである。
最初に、制御部35は第1解除条件が満たされたか否かを判定する(ステップST21)。本実施例では、制御部35は、ショベル周辺の所定範囲内に人が存在しないか否かを判定する。具体的には、現在の人検知状態が第2人検知状態(警報状態)を脱したか否かを判定する。第1人検知状態(警戒状態)及び第2人検知状態(警報状態)を脱したか否かを判定してもよい。
第1解除条件が満たされたと判定した場合(ステップST21のYES)、制御部35は第2解除条件が満たされたか否かを判定する(ステップST22)。本実施例では、制御部35は、ショベルが動き出さない状態が確保されているか否かを判定する。具体的には、ゲートロックレバーが下ろされているか否か(操作装置が無効となっているかいなか)を判定する。
第2解除条件が満たされたと判定した場合(ステップST22のYES)、制御部35は第3解除条件が満たされたか否かを判定する(ステップST23)。本実施例では、制御部35は、ショベル周辺に人がいないことが操作者によって確認されたか否かを判定する。具体的には、車載ディスプレイの画面に「ショベル周辺に人がいないことを確認しましたか?」といったメッセージが表示された状態で確認ボタンが押下されたか否かを判定する。
第3解除条件が満たされたと判定した場合(ステップST23のYES)、制御部35はショベルの動きの制限又は停止を解除する(ステップST24)。
このとき、制御部35は、出力装置50としての車載スピーカに制御指令を出力して第2警報の出力を停止させる。また、出力装置50としての車載ディスプレイに制御指令を出力して制限又は停止の原因となった人画像が含まれる撮像画像の表示を停止させる。例えば、第2警報が出力される前に表示されていたスルー画像を再表示させる。
なお、制御部35は、第1解除条件が満たされていないと判定した場合(ステップST21のNO)、第2解除条件が満たされていないと判定した場合(ステップST22のNO)、
第3解除条件が満たされていないと判定した場合には(ステップST23のNO)、ショベルの動きの制限又は停止を解除することなく、今回の制限解除処理を終了させる。
以上の構成により、コントローラ30は、ショベル周辺に人が存在すると判定した場合にショベルの動きを制限し或いは停止させることができる。
また、コントローラ30は、ショベルの動きを制限し或いは停止させた後でショベル周辺に人が存在しないと判定した場合には、ショベルが動き出さない状態が確保されていると判定したときに限り、その制限又は停止を解除できる。また、コントローラ30は、ショベルが動き出さない状態が確保されていると判定し、且つ、ショベル周辺に人がいないことが操作者によって確認されたと判定したときに限り、その制限又は停止を解除できる。そのため、コントローラ30は、その制限又は停止を解除した際にショベルが意図せず動き出してしまうのを防止できる。
次に、図15を参照し、周辺監視処理の実行中に車載ディスプレイに表示される出力画像の1例について説明する。図15は後方カメラ40Bの撮像画像に基づいて生成される出力画像の例である。図15(A)はショベル周辺の所定範囲内に人がいないときの出力画像の例を示し、図15(B)は第1人検知状態での出力画像の例を示し、図15(C)は第2人検知状態での出力画像の例を示す。
具体的には、図15の出力画像はカメラ画像部分G1及びインジケータ部分G2を含む。カメラ画像部分G1は1又は複数のカメラの撮像画像に基づいて生成される画像を表示する部分である。インジケータ部分G2はショベル周辺における複数の領域のそれぞれの人検知状態/人非検知状態を表示する部分である。カメラ画像部分G1において、カメラ画像上に重畳表示される線分L1はショベルからの距離が所定の第1距離(例えば5メートル)であることを示す。また、カメラ画像上に重畳表示される線分L2はショベルからの距離が所定の第2距離(例えば2.5メートル)であることを示す。インジケータ部分G2において、ショベルアイコンCG1の周囲に描かれる部分円の外周線L1gはショベルからの距離が所定の第1距離(例えば5メートル)であることを示し、カメラ画像部分G1の線分L1に対応する。また、ショベルアイコンCG1の周囲に描かれる部分矩形の外周線L2gはショベルからの距離が所定の第2距離(例えば2.5メートル)であることを示し、カメラ画像部分G1の線分L2に対応する。
部分円は6つの領域A1〜A6に分割され、部分矩形は3つの領域B1〜B3に分割されている。
図15(A)に示す状態では、コントローラ30はショベルの右後方に存在する人を検知している。しかしながら、コントローラ30は、その人の実在位置が第1距離以遠であるため、その人の画像を強調表示しておらず、第1警報も出力していない。但し、コントローラ30は、対応する識別処理対象画像領域TRgの輪郭線を白色枠として表示する等、その人の画像を強調表示してもよく、第1警報を出力してもよい。また、既に人を検知しているか否かにかかわらず、「周辺監視処理実行中」等のメッセージを表示してもよい。周辺監視処理が実行中であることを操作者が認識できるようにするためである。
図15(B)に示す第1人検知状態では、コントローラ30はショベルの右後方の第1距離以内で且つ第2距離以遠に存在する人を検知している。そのため、コントローラ30は、その人の画像を強調表示し且つ第1警報を出力している。具体的には、コントローラ30は、カメラ画像部分G1において、対応する識別処理対象画像領域TRgの輪郭線を黄色枠F1として表示する。また、インジケータ部分G2において、その人の実在位置に対応する領域A4を黄色で表示する。但し、黄色枠の表示は省略されてもよい。また、第1人検知状態(警戒状態)であることを伝えるメッセージを表示させてもよい。
図15(C)に示す第2人検知状態では、コントローラ30はショベルの右後方の第2距離以内に存在する人を検知している。そのため、コントローラ30は、その人の画像を強調表示し且つ第2警報を出力している。具体的には、コントローラ30は、カメラ画像部分G1において、対応する識別処理対象画像領域TRgの輪郭線を赤色枠F2として表示する。また、インジケータ部分G2において、その人の実在位置に対応する領域B2を赤色で表示する。また、コントローラ30は、ショベルの動きを制限した上で、第2人検知状態(警報状態)であることを伝えるメッセージ「ショベル動作制限中」を点滅表示させている。但し、第2人検知状態(警報状態)であることを伝えるメッセージの表示は省略されてもよい。
また、図15(A)〜図15(C)では、画面の左側にカメラ画像部分G1が表示され、画面の右側にインジケータ部分G2が表示されるが、画面の右側にカメラ画像部分G1が表示され、画面の左側にインジケータ部分G2が表示されてもよい。また、上下に分割された画面の一方にカメラ画像部分G1が表示され、他方にインジケータ部分G2が表示されてもよい。また、インジケータ部分G2の表示は省略されてもよい。
また、領域A1〜A6のそれぞれの拡がり角度は45度であり、領域B1〜B3のそれぞれの拡がり角度は90度である。この拡がり角度の違いは、第1人検知状態(警戒状態)と第2人検知状態(警報状態)の性質の違いに基づく。具体的には、第1人検知状態(警戒状態)は、確度は低いがレスポンスが早い予備的な警報が出力される状態であり、ショベルから比較的離れたところの比較的広い空間範囲が監視範囲となっている。そのため、領域A1〜A6の拡がり角度を大きくすると、それぞれの領域に対応する監視範囲がその表示範囲と共に大きくなり、第1警報の原因となった人の実在位置が分かり難くなってしまう。広い監視範囲のどこにいても同じ表示結果となってしまうためである。一方で、第2人検知状態(警報状態)は、確度は高いがレスポンスが遅い正式な警報が出力される状態であり、ショベルから比較的近いところの比較的狭い空間範囲が監視範囲となっている。そのため、領域B1〜B3の拡がり角度を小さくすると、それぞれの領域に対応する監視範囲がその表示範囲と共に小さくなり、第2警報の原因となった人が何れの方向にいるのかが分かり難くなってしまう。表示範囲が小さくて見え難くなってしまうためである。そのため、望ましくは、図15(A)〜図15(C)に示すように、領域A1〜A6のそれぞれの拡がり角度は領域B1〜B3のそれぞれの拡がり角度よりも小さくなるように設定される。
また、図15(A)〜図15(C)では、後方カメラ40Bのスルー画像が表示されているときに後方カメラ40Bの撮像画像で人画像が検知された場合について説明する。しかしながら、上述の説明は、後方カメラ40Bのスルー画像が表示されているときに左側方カメラ40L及び右側方カメラ40Rの少なくとも一方の撮像画像で人画像が検知された場合にも同様に適用される。その場合、カメラ画像部分G1に表示される出力画像は、後方カメラ40Bのスルー画像から別のカメラのスルー画像又は複数のカメラの撮像画像から合成される視点変換画像に自動的に切り換えられてもよい。例えば、コントローラ30は、後方カメラ40Bのスルー画像が表示されているときに左側方カメラ40Lの撮像画像で人画像が検知された場合、カメラ画像部分G1に表示される出力画像を左側方カメラ40Lのスルー画像に切り換えてもよい。
次に、図16を参照し、検知状態と枠及び領域の表示色との関係について説明する。図16は、検知状態と枠及び領域の表示色との対応関係を示す対応テーブルである。
対応テーブルの1行目は、検知状態が第1人検知状態(警戒状態)でも第2人検知状態(警報状態)でもない場合には、識別処理対象画像領域の輪郭線を表示せず、インジケータ部分G2の何れの領域をも着色しないことを表す。
2行目は、検知状態が警戒状態である場合には、警戒状態をもたらす原因となった人画像に対応する識別処理対象画像領域の輪郭線が黄色枠として表示され、且つ、領域A1〜A6の何れかが黄色で表示されることを表す。
3行目は、検知状態が警報状態である場合には、警報状態をもたらす原因となった人画像に対応する識別処理対象画像領域の輪郭線が赤色枠として表示され、且つ、領域B1〜B3の何れかが赤色で表示されることを表す。
4行目は、検知状態が警戒状態で且つ警報状態である場合には、警戒状態をもたらす原因となった人画像に対応する輪郭線が黄色枠で表示され、且つ、警報状態をもたらす原因となった人画像に対応する輪郭線が赤色枠で表示されることを表す。また、領域A1〜A6のうち警戒状態をもたらす原因となった人画像に対応する領域が黄色で表示され、領域B1〜B3のうち警報状態をもたらす原因となった人画像に対応する領域が赤色で表示されることを表す。
以上の構成により、コントローラ30は、ショベル周辺に人が存在すると判定した場合に警報を出力し且つその人の画像部分を強調表示する。そのため、操作者は警報の原因となった人を画面で確認できる。また、操作者は誤報が発生した場合にもその誤報の原因となったものが何であるかを画面で確認できる。
また、コントローラ30は、第1人検知状態(警戒状態)となった場合に初めてカメラ画像部分G1に人検知マーカとしての枠画像を表示し、且つ、インジケータ部分G2の対応する領域の色を変化させる。そのため、人画像として識別されたがその信頼性が未だ低い人候補画像に対応する枠画像までもが表示されてしまい、表示画像が複雑化してしまうのを防止できる。なお、上述の実施例では、人検知マーカとして枠画像を表示するが、反転表示画像等の他の強調画像が人検知マーカとして採用されてもよい。
また、第1人検知状態(警戒状態)をもたらす原因となった人の画像と、第2人検知状態(警報状態)をもたらす原因となった人の画像とを区別可能に強調表示する。また、カメラ画像部分G1における枠画像の色とインジケータ部分G2における領域の色とを対応させる。そのため、操作者は第2警報の原因となった人を画面で確認できる。また、上述の実施例では、コントローラ30は、カメラ画像部分G1における枠画像の色、及び、インジケータ部分G2における領域の色を検知状態に応じて異ならせる。但し、コントローラ30は、点滅・点灯状態、透過率等の色以外の属性を検知状態に応じて異ならせてもよい。
次に、図17を参照し、周辺監視処理の実行中に車載ディスプレイに表示される出力画像の別の1例について説明する。図17は後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像に基づいて生成される出力画像としての視点変換画像の例である。本実施例では、視点変換画像は、操作者がショベル周辺を監視する際に利用する画像(以下、「周辺監視画像」とする。)である。周辺監視画像は、例えば、ショベル周辺を真上から見たときの路面画像と、その路面画像の周りに配置される、ショベル周辺を水平方向に見たときの水平画像とを組み合わせた画像である。図17は、第1人検知状態と第2人検知状態とが併存する場合の出力画像の例を示す。図17の出力画像は図15のカメラ画像部分G1に対応する視点変換画像部分G3を含む。図15のインジケータ部分G2に対応する部分は視点変換画像部分G3に統合されている。具体的には、図15のショベルアイコンCG1は図17のショベルアイコンCG2に対応し、図15の領域A1〜A6は図17の領域C1〜C6に対応する。また、図15の領域B1は図17の領域C1及びC2の組み合わせに対応し、図15の領域B2は図17の領域C3及びC4の組み合わせに対応し、図15の領域B3は図17の領域C5及びC6の組み合わせに対応する。視点変換画像上に重畳表示される線分L3はショベルからの距離が所定の第3距離(例えば2.5メートル)であることを示す。
図17に示す検知状態では、コントローラ30はショベルの左側方の第1距離(例えば5メートル)以内で且つ第3距離以遠に存在する人(第1人検知状態をもたらす原因となった人)を検知している。また、ショベルの後方の第3距離以内に存在する人(第2人検知状態をもたらす原因となった人)を検知している。そのため、コントローラ30は、それらの人の画像を強調表示し、第2警報を出力し、且つ、ショベルの動きを制限している。具体的には、コントローラ30は、第1人検知状態をもたらす原因となった人に対応する参照点Prの位置に人検知マーカとしての黄色円MA1を表示し、且つ、その位置に対応する領域C2を黄色で表示する。また、第2人検知状態をもたらす原因となった人に対応する参照点Prの位置に人検知マーカとしての赤色円MA2を表示し、且つ、その位置に対応する領域C3及びC4の組み合わせを赤色で表示する。また、コントローラ30は、ショベルの動きを制限した上で、第2人検知状態(警報状態)であることを伝えるメッセージ「ショベル動作制限中」を点滅表示させてもよい。また、黄色円MA1の表示は省略されてもよい。画面を見易くするためである。
次に、図18を参照し、周辺監視処理の実行中に車載ディスプレイに表示される出力画像の更に別の1例について説明する。図18は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像に基づいて生成される視点変換画像を含む出力画像の例である。図18は、図17の場合と同様、第1人検知状態と第2人検知状態とが併存する場合の出力画像の例を示す。図18の出力画像はインジケータ部分G2と視点変換画像部分G3を含む。ショベルアイコンCG1の周囲に描かれる部分矩形の外周線L2gはショベルからの距離が所定の第3距離(例えば2.5メートル)であることを示し、視点変換画像部分G3の線分L3に対応する。
図18に示す検知状態では、コントローラ30はショベルの左側方の第1距離(例えば5メートル)以内で且つ第3距離以遠に存在する人(第1人検知状態をもたらす原因となった人)を検知している。また、ショベルの後方の第3距離以内に存在する人(第2人検知状態をもたらす原因となった人)を検知している。そのため、コントローラ30は、それらの人の画像を強調表示し、第2警報を出力し、且つ、ショベルの動きを制限している。具体的には、コントローラ30は、第1人検知状態をもたらす原因となった人に対応する参照点Prの位置に人検知マーカとしての黄色円MA1を表示し、且つ、その位置に対応するインジケータ部分G2の領域A2を黄色で表示する。また、第2人検知状態をもたらす原因となった人に対応する参照点Prの位置に人検知マーカとしての赤色円MA2を表示し、且つ、その位置に対応するインジケータ部分G2の領域B2を赤色で表示する。また、コントローラ30は、ショベルの動きを制限した上で、第2人検知状態(警報状態)であることを伝えるメッセージ「ショベル動作制限中」を点滅表示させている。なお、黄色円MA1の表示は省略されてもよい。画面を見易くするためである。
以上の構成により、コントローラ30は、図15の出力画像を表示した場合と同様の効果を実現できる。
次に、図19を参照し、周辺監視処理の実行中に車載ディスプレイに表示される出力画像の更に別の例について説明する。図19(A)〜図19(E)のそれぞれは、複数の撮像画像に基づいて生成される視点変換画像としての周辺監視画像を含む出力画像の例である。ショベルアイコンCG2の周囲に描かれる線分L3はショベルからの距離が所定の第3距離(例えば2.5メートル)であることを示す。
本実施例では、周辺監視画像は、後方カメラ40B、左側方カメラ40L、及び右側方カメラ40Rのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる画像である。「空間モデル」は仮想空間における撮像画像の投影対象であり、周辺監視画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。
制御部35は、出力装置50としての表示装置に制御指令を出力し、表示装置の画面に表示されている周辺監視画像の一部を相対的に拡大して表示する。本実施例では、制御部35は、表示装置の画面に表示されている周辺監視画像の特定の画像部分を局所的に拡大して表示する。例えば、制御部35は、仮想空間における周辺監視画像を異なる仮想視点から見たときの画像を生成して表示することで周辺監視画像における特定の画像部分を局所的に拡大して表示する。特定の画像部分は、例えば、ショベルの操作者が注目すべき画像部分等の重要度の高い画像部分であり、以下、「注目画像部分」とも称する。本実施例では、ショベルから見た注目画像部分の方向は1つであり、2つ以上の方向にある画像部分が注目画像部分として同時に採用されることはない。但し、本発明は、2つ以上の方向にある画像部分が注目画像部分として同時に採用されることを排除しない。また、ショベルから見た注目画像部分の方向は、図15(A)に示す6つの領域A1〜A6の方向に限定されてもよく、或いは、3つの領域B1〜B3の方向に限定されてもよい。また、注目画像部分の大きさ及び形状は固定であってもよく、動的に決定されてもよい。
「局所的に拡大して表示」は、例えば、周辺監視画像の注目画像部分を、他の画像部分との滑らかなつながりを維持した状態で、部分的に拡大して表示することを意味する。
具体的には、制御部35は、ルーペ処理、射影変換、スケール変換等により、周辺監視画像の略全体を奥行表示しながら、周辺監視画像における注目画像部分を局所的に拡大して表示する。注目画像部分は、例えば、実空間において人が存在すると判定された位置に対応する画像部分、下部走行体1の進行方向にある空間に対応する画像部分、上部旋回体3の後方にある空間に対応する画像部分等である。以下では、周辺監視画像の略全体を表示しながら注目画像部分を局所的に拡大する処理を「局所的拡大処理」と称する。「周辺監視画像の略全体」は、周辺監視画像の周縁部が画面からはみ出る場合があってもよいことを意味する。また、実空間において人が存在すると判定された位置に対応する画像部分を注目画像部分とする場合、局所的に拡大して表示される注目画像部分に含まれる人の画像は所定サイズより大きくなるように表示される。例えば、ショベルから所定距離(例えば12m)内にいる人の画像は、表示装置の画面上で所定サイズ(例えば7mm×7mm)より大きくなるように表示される。ショベルからの距離は、例えば、その人とショベル(例えば、上部旋回体3の側面又は後面)の間の最短距離、キャビン10の中心位置からその人までの距離、ショベルの旋回軸からその人までの距離等である。
図19(A)は、局所的拡大処理が実行される前の周辺監視画像を含む出力画像を示す。図19(A)の出力画像は、ショベルの後方の第3距離以内に作業者W1が存在する状況を示す。
図19(B)は局所的拡大処理が実行された後の周辺監視画像を含む出力画像の1例を示す。図19(B)の出力画像は、図19(A)の場合と同様、ショベルの後方の第3距離以内に作業者W1が存在する状況を示す。この例では、制御部35は、人検知部34が人を検知した場合に局所的拡大処理を実行する。具体的には、制御部35は、人検知部34が検知した人の実空間における位置に対応する画像部分を注目画像部分として採用する。そして、その注目画像部分が画面内の中央下部に位置するように周辺監視画像を画面内で回転させ、その注目画像部分を局所的に拡大する。周辺監視画像の回転は、例えば、ショベルの旋回中心に対応する周辺監視画像の中心を回転軸として実行される。周辺監視画像の回転と注目画像部分の拡大とは順不同である。また、周辺監視画像の回転は省略されてもよい。また、注目画像部分以外の画像部分は縮小されてもよい。例えば、注目画像部分から遠い画像部分ほど小さく表示されるように縮小されてもよい。
ショベルの周辺で複数の人を検知した場合、制御部35は、ショベルから最も近い位置に存在する人の位置に対応する画像部分を注目画像部分として採用する。或いは、制御部35は、検知した人とショベルとの間の距離、下部走行体1の向き、上部旋回体3の向き等に基づいてショベルから見た各方向の危険度を算出し、その危険度が最も高い方向にある空間に対応する画像部分を注目画像部分として採用してもよい。
制御部35は、作業者W1を原因とする第1人検知状態(警戒状態)がもたらされた場合に局所的拡大処理を実行してもよく、作業者W1を原因とする第2人検知状態(警報状態)がもたらされた場合に局所的拡大処理を実行してもよい。
図19(C)は局所的拡大処理が実行された後の周辺監視画像を含む出力画像の別の1例を示す。図19(C)の出力画像は、ショベルの左側方の第3距離以内に作業者W2が存在する状況を示す。この例では、図19(B)の場合と同様、制御部35は、人検知部34が検知した人の実空間における位置に対応する画像部分を注目画像部分として採用する。そして、その注目画像部分が画面内の中央下部に位置するように周辺監視画像を画面内で回転させ、その注目画像部分を局所的に拡大する。
また、制御部35は、移動中の作業者W2の画像が常に画面内の中央下部に位置するよう、作業者W2の移動に応じて周辺監視画像を画面内で回転させてもよい。すなわち、注目画像部分の表示位置の変化に応じて周辺監視画像を画面内で回転させてもよい。注目画像部分の表示位置の変化を相殺するためである。
図19(D)は局所的拡大処理が実行された後の周辺監視画像を含む出力画像の更に別の1例を示す。図19(D)の出力画像は、図19(C)の場合と同様、ショベルの左側方の第3距離以内に作業者W2が存在する状況を示す。
図19(D)の出力画像は、作業者W2の画像の周りに枠F3が表示されている点で、図19(C)の出力画像と異なるがその他の点で共通する。このように、制御部35は、枠F3のように作業者W2の実在位置を強調するための画像を表示してもよい。出力画像を見る操作者が作業者W2に関する情報(作業者の存否、ショベルから見た存在方向等)をより分かり易く認識できるようにするためである。
制御部35は、移動中の作業者W2の画像が常に枠F3内に位置するよう、作業者W2の移動に応じて周辺監視画像を画面内で回転させる。この場合、枠F3の位置は固定されている。但し、制御部35は、周辺監視画像を画面内で回転させずに、画面内での作業者W2の画像の移動に応じて枠F3を移動させてもよい。
図19(E)は局所的拡大処理が実行された後の周辺監視画像を含む出力画像の更に別の1例を示す。ショベルアイコンCG2の周囲に描かれる線分L4はショベルからの距離が所定の第4距離(例えば5.0メートル)であることを示す。図19(E)の出力画像は、ショベルの左側方の第4距離以内に作業者W3が存在し、且つ、ショベルの後方の第4距離以内に作業者W4が存在する状況を示す。
この例では、制御部35は、図15に示すインジケータ部分G2の領域A2、領域A3に対応する領域A2x、領域A3xの境界を実線で表示する。実線の色(黄色)は、作業者W3及び作業者W4のそれぞれが第1人検知状態(警戒状態)をもたらす原因となっていることを表す。また、制御部35は、現在の人検知状態を伝えるメッセージ画像MS1を表示する。メッセージ画像MS1は、現在の人検知状態が第1人検知状態(警戒状態)となっていることを示している。
また、制御部35は、ショベルから最も近いところにいる作業者W3の位置に対応する画像部分を注目画像部分として採用している。そのため、制御部35は、作業者W3の画像を含む注目画像部分を局所的に拡大し、且つ、その注目画像部分が画面内の中央下部に位置するように周辺監視画像を画面内で回転させる。
また、制御部35は、例えば図15に示すインジケータ部分G2の領域B1に対応する領域B1xに作業者W3が進入した場合にはその領域B1xの輪郭を実線で表示する。その場合、実線の色(赤色)は、作業者W3が第2人検知状態(警報状態)をもたらす原因となっていることを表す。図19(E)は、領域B1xの位置を説明する便宜上、領域B1xの境界を破線で示すがこの破線は実際には表示されていない。
上述の通り、制御部35は、人検知部34が検知した人の実空間における位置に対応する画像部分を注目画像部分として採用する。そして、その注目画像部分を局所的に拡大して表示することでその注目画像部分を目立たせることができる。そのため、局所的拡大処理が実行された後の周辺監視画像を含む出力画像を見た操作者は、作業者W1に関する情報(作業者の存否、ショベルから見た存在方向等)を一目で認識できる。また、その注目画像部分が常に画面内の特定部分(例えば中央下部)に位置するように周辺監視画像を画面内で回転させることができる。そのため、操作者は、警報等が出力された場合にその画面内の特定部分を見るだけで作業者W1に関する情報を一目で認識できる。
次に図20を参照し、周辺監視処理の実行中に車載ディスプレイに表示される出力画像の更に別の例について説明する。図20(A)及び図20(B)のそれぞれは、図19(A)〜図19(E)のそれぞれと同様、3つの撮像画像に基づいて生成される周辺監視画像を含む出力画像の例である。
図20(A)及び図20(B)は何れも局所的拡大処理が実行された後の周辺監視画像を含む出力画像の1例を示す。但し、図20の出力画像は、操作装置としての走行レバーが操作されたときに局所的拡大処理が施される点において、人検知部34が人を検知した場合に局所的拡大処理が施される図19の出力画像と相違する。また、図20の出力画像は、下部走行体1の進行方向にある空間に対応する画像部分が注目画像部分として採用される点において、人検知部34が検知した人の実空間における位置に対応する画像部分が注目画像部分として採用される図19の出力画像と相違する。
本実施例では、制御部35は、ショベル周辺で人を検知していない場合であり、且つ、走行レバーが操作された場合に局所的拡大処理を実行する。また、制御部35は、走行レバーの操作に応じて局所的拡大処理を実行した後で人が検知された場合、検知された人の実空間における位置に対応する画像部分を注目画像部分として採用し直した上で局所的拡大処理を実行する。但し、制御部35は、走行レバーの操作に応じて局所的拡大処理を実行した後で人が検知された場合に実行中の局所的拡大処理をそのまま継続してもよい。反対に、制御部35は、ショベル周辺の人の検知に応じて局所的拡大処理を実行した後で走行レバーの操作が行われた場合に、下部走行体1の進行方向にある空間に対応する画像部分を注目画像部分として採用し直した上で局所的拡大処理を実行してもよい。また、制御部35は、ショベル周辺の人の検知に応じて局所的拡大処理を実行した後で走行レバーの操作が行われた場合に実行中の局所的拡大処理をそのまま継続してもよい。
また、制御部35は、ショベル周辺で人が検知されておらず、且つ、走行レバーが操作されていない場合に、局所的拡大処理を実行してもよい。この場合、制御部35は、例えば、上部旋回体3の後方にある空間に対応する画像部分を注目画像部分として採用してもよい。或いは、下部走行体1の前方にある空間に対応する画像部分を注目画像部分として採用してもよい。
図20(A)は走行レバーの操作に応じて局所的拡大処理が実行された後の周辺監視画像を含む出力画像の1例を示す。図20(A)の出力画像は、下部走行体1が上部旋回体3に関して右斜め後方に進行する状況を示す。この例では、制御部35は、下部走行体1の進行方向にある空間に対応する画像部分を注目画像部分として採用する。下部走行体1の進行方向は、例えば、下部走行体1に対する上部旋回体3の旋回角度から導き出される。上部旋回体3の長手方向を基準として下部走行体1の進行方向を一意に決定できるためである。具体的には、下部走行体1の進行方向は、下部走行体1及び上部旋回体3のそれぞれに取り付けられた一対の方位センサ、上部旋回体3に取り付けられたジャイロスコープ等の角速度センサ、旋回機構2に取り付けられたレゾルバ、ロータリエンコーダ等の回転角センサ等の出力に基づいて導き出される。
そして、制御部35は、注目画像部分が画面内の中央上部に位置するように周辺監視画像を画面内で回転させ、注目画像部分を局所的に拡大する。周辺監視画像の回転は、例えば、ショベルの旋回中心に対応する周辺監視画像の中心を回転軸として実行される。周辺監視画像の回転と注目画像部分の拡大とは順不同である。また、周辺監視画像の回転は省略されてもよい。また、注目画像部分以外の画像部分は縮小されてもよい。例えば、注目画像部分から遠い画像部分ほど小さく表示されるように縮小されてもよい。周辺監視画像に重畳表示された矢印AR1は下部走行体1の進行方向を示す。クローラ画像LR1は撮像装置40が撮像した下部走行体1の画像である。
図20(B)は走行レバーの操作に応じて局所的拡大処理が実行された後の周辺監視画像を含む出力画像の別の1例を示す。図20(B)の出力画像は、下部走行体1が上部旋回体3に関して右斜め後方に進行する状況を示す。この例では、制御部35は、下部走行体1の進行方向にある空間に対応する画像部分を注目画像部分として採用する。そして、ショベルアイコンCG2の掘削アタッチメントを画面上方に向けた状態でその注目画像部分を局所的に拡大する。注目画像部分以外の画像部分は縮小されてもよい。例えば、注目画像部分から遠い画像部分ほど小さく表示されるように縮小されてもよい。周辺監視画像に重畳表示された矢印AR2は下部走行体1の進行方向を示す。クローラ画像LR1は撮像装置40が撮像した下部走行体1の画像である。
上述の通り、制御部35は、下部走行体1の進行方向にある空間に対応する画像部分を注目画像部分として採用する。そして、その注目画像部分を局所的に拡大して表示することでその注目画像部分を目立たせることができる。そのため、局所的拡大処理が実行された後の周辺監視画像を含む出力画像を見た操作者は、ショベルの進行方向に関する情報(障害物の存否等)を一目で認識できる。また、その注目画像部分が常に画面内の特定部分(例えば中央上部)に位置するように周辺監視画像を画面内で回転させることができる。そのため、操作者は、警報等が出力された場合にその画面内の特定部分を見るだけでショベルの進行方向に関する情報を一目で認識できる。
また、制御部35は、走行レバーに対する操作の有無以外の他の車両情報に応じて局所的拡大処理を実行してもよい。例えば、旋回操作レバーが操作された場合に局所的拡大処理を実行してもよい。この場合、制御部35は、掘削アタッチメントの旋回方向にある空間に対応する画像部分を注目画像部分として採用してもよい。
また、制御部35は、検知した人の位置が上部旋回体3の後方である場合、その人の位置に対応する注目画像部分が画面中央に位置するように周辺監視画像を移動させ、その注目画像部分を局所的に拡大してもよい。或いは、制御部35は、検知した人の位置が下部走行体1の進行方向にある場合、その人の位置に対応する注目画像部分が画面中央に位置するように周辺監視画像を移動させ、その注目画像部分を局所的に拡大してもよい。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例では、ショベルの上部旋回体3の上に取り付けられる撮像装置40の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。移動式クレーン、固定式クレーン、リフマグ機、フォークリフト等の他の作業機械の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。
また、上述の実施例では、3つのカメラを用いてショベルの死角領域を撮像するが、1つ、2つ、又は4つ以上のカメラを用いてショベルの死角領域を撮像してもよい。
また、上述の実施例では、撮像装置40の撮像画像を用いて人検知が行われるが、超音波センサ、レーザレーダ、焦電センサ、ミリ波レーダ等の出力を用いて人検知が行われてもよい。
また、上述の実施例では、複数の撮像画像のそれぞれに対して個別に人検知処理が適用されるが、複数の撮像画像から生成される1つの合成画像に対して人検知処理が適用されてもよい。