JP2020127225A - 作業機械用周辺監視システム及びショベル - Google Patents

Abstract

【課題】撮像画像が人検知に不適な状態である場合に人検知結果に過度に依存しないよう注意を喚起できる周辺監視システムを提供すること。【解決手段】ショベルに取り付けられた撮像装置４０の撮像画像を用いてショベル周辺に存在する人を検知する周辺監視システム１００は、撮像画像が人検知に不適な状態である場合、前記撮像画像が人検知に不適な状態である旨を通知する。周辺監視システム１００は、撮像画像が撮像される環境が人検知に適さないものであった場合に、撮像画像が人検知に不適な状態である旨を通知してもよい。人検知に適さない環境は、夜間環境、逆光環境、日陰環境、カメラのレンズが汚れた環境、フレアが発生する環境、被写体ブレが発生する環境、及び背景が複雑な環境のうちの少なくとも１つを含んでいてもよい。【選択図】図２

Description

本発明は、作業機械の周辺を監視する作業機械用周辺監視システムに関する。

イメージ・センサと熱を感知するサーモパイル・アレイを持ち、撮像範囲と熱検出範囲を重複させ、サーモパイル・アレイの出力が示す人体らしき範囲のみを顔抽出範囲と限定して画像識別処理の際の不要な演算処理量を減らす人体検出装置が知られている（特許文献１参照。）。

特開２００６−０５９０１５号公報

一方で、撮像画像が人検知に不適な状態である場合に人検知結果に過度に依存しないよう注意を喚起できる作業機械用周辺監視システムの提供が望まれる。

本発明の実施例に係る作業機械用周辺監視システムは、作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、前記撮像画像が人検知に不適な状態である場合、前記撮像画像が人検知に不適な状態である旨を通知する。

上述の手段により、撮像画像が人検知に不適な状態である場合に人検知結果に過度に依存しないよう注意を喚起できる作業機械用周辺監視システムが提供される。

本発明の実施例に係る周辺監視システムが搭載されるショベルの側面図である。 周辺監視システムの構成例を示す機能ブロック図である。 後方カメラの撮像画像の例である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の一例を示す概略図である。 ショベル後方の実空間の上面図である。 撮像画像から正規化画像を生成する処理の流れを示す図である。 撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。 識別処理対象画像領域と識別処理不適領域との関係を示す図である。 正規化画像の例を示す図である。 実空間における仮想平面領域と後方カメラとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係を説明する図である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の別の一例を示す概略図である。 撮像画像における特徴画像の一例を示す図である。 画像抽出処理の一例の流れを示すフローチャートである。 画像抽出処理の別の一例の流れを示すフローチャートである。 画像抽出処理の更に別の一例の流れを示すフローチャートである。 画像抽出処理の更に別の一例の流れを示すフローチャートである。 人検知適否判定処理の一例の流れを示すフローチャートである。 ヘルメット度の度数分布図である。

図１は、本発明の実施例に係る周辺監視システム１００が搭載される作業機械（建設機械）としてのショベル（掘削機）の側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。

図２は、周辺監視システム１００の構成例を示す機能ブロック図である。周辺監視システム１００は、主に、コントローラ３０、撮像装置４０、入力装置４２、出力装置５０、及び機械制御装置５１を含む。本実施例では、撮像装置４０、入力装置４２、出力装置５０、及び機械制御装置５１は、ＣＡＮを介してコントローラ３０に接続されている。

コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。

また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０及び入力装置４２の出力を受け、抽出部３１、識別部３２、追跡部３３、及び制御部３５のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じて機械制御装置５１に制御指令を出力してショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。

撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。

入力装置４２は操作者の入力を受ける装置である。本実施例では、入力装置４２は、操作装置（操作レバー、操作ペダル等）、ゲートロックレバー、操作装置の先端に設置されたボタン、車載ディスプレイに付属のボタン、タッチパネル等を含む。

出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ、警報ブザー、警報ランプ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。

機械制御装置５１は、ショベルの動きを制御する装置であり、例えば、油圧システムにおける作動油の流れを制御する制御弁、ゲートロック弁、エンジン制御装置等を含む。

抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。識別処理対象画像は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分（撮像画像の一部）である。撮像画像はカラー画像であってもよく、グレースケール画像であってもよい。抽出部３１は、カラー画像をグレースケール化する複数種類の機能を備えていてもよい。それぞれの人候補画像は、人らしさの度合い、又はその度合いを示すレベルについて、大小の差異があると考えてもよい。その度合い、又はその度合いを示すレベルは評価値として捉えることもできる。また、抽出部３１は、それぞれで複数の絞り込みを行う複数段で構成されてもよい。例えば直列接続された前段の第１抽出部、後段の第２抽出部として構成されてもよい。

識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部３２は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等の比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人候補画像が人画像であるかを識別する。識別部３２が人候補画像を人画像として識別する割合は、抽出部３１による識別処理対象画像の抽出が高精度であるほど高くなる。なお、識別部３２は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人候補画像の全てが人画像であると識別し、抽出部３１が抽出した識別処理対象画像における人候補画像の全てを人であると識別してもよい。人の検知漏れを防止するためである。

次に、図３を参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図３の２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３の点線円は人画像の存在を表し、実際の撮像画像には表示されない。

後方カメラ４０Ｂは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ４０Ｂから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。

そこで、本発明の実施例に係る周辺監視システム１００は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。

ここで、図４〜図６を参照し、周辺監視システム１００が識別処理対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。

図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ〜Ｈで定められる仮想直方体である。また、点Ｐｒは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人の想定立ち位置として予め設定される点であり、４つの頂点Ａ〜Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。

４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。

なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであれば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。

図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置される。

図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。

図６は、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６（Ａ）は、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを映し出す。また、図６（Ｂ）は、撮像画像における識別処理対象画像の領域（以下、「識別処理対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６（Ａ）の撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６（Ｃ）は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化した正規化画像ＴＲｇｔを示す。

図６（Ａ）に示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の識別処理対象画像領域ＴＲｇを定める。

このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。

図７は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図７（Ａ１）は、撮像画像における識別処理対象画像領域ＴＲｇ３を示し、図７（Ａ２）は、識別処理対象画像領域ＴＲｇ３を有する識別処理対象画像の正規化画像ＴＲｇｔ３を示す。また、図７（Ｂ１）は、撮像画像における識別処理対象画像領域ＴＲｇ４を示し、図７（Ｂ２）は、識別処理対象画像領域ＴＲｇ４を有する識別処理対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７（Ｃ１）は、撮像画像における識別処理対象画像領域ＴＲｇ５を示し、図７（Ｃ２）は、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を示す。

図７に示すように、撮像画像における識別処理対象画像領域ＴＲｇ５は、撮像画像における識別処理対象画像領域ＴＲｇ４より大きい。識別処理対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域ＴＲｇ４は、撮像画像における識別処理対象画像領域ＴＲｇ３より大きい。識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。

このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。

次に、図８を参照し、識別処理対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８は、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図７（Ｃ１）及び図７（Ｃ２）に対応する。また、図８左図の右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。

本実施例では、抽出部３１は、識別処理対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理した後で、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。

図８右図は、正規化画像ＴＲｇｔ５を示す。また、図８右図において、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。

このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。

次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人候補の画像を含む。

図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。

次に、図１０を参照し、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係について説明する。なお、図１０上図は、後方カメラ４０Ｂからの後方水平距離がそれぞれ異なる３つの参照点Ｐｒ１０、Ｐｒ１１、Ｐ１２のところに人が存在する場合の頭部画像部分の大きさＬ１０、Ｌ１１、Ｌ１２を示す図であり、横軸が後方水平距離に対応する。また、図１０下図は、後方水平距離と頭部画像部分の大きさの関係を示すグラフであり、縦軸が頭部画像部分の大きさに対応し、横軸が後方水平距離に対応する。なお、図１０上図及び図１０下図の横軸は共通である。また、本実施例は、カメラ高さを２１００ｍｍとし、頭部ＨＤの中心の地面からの高さを１６００ｍｍとし、頭部の直径を２５０ｍｍとする。

図１０上図に示すように、参照点Ｐｒ１０で示す位置に人が存在する場合、頭部画像部分の大きさＬ１０は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１０への投影像の大きさに相当する。同様に、参照点Ｐｒ１１、Ｐｒ１２で示す位置に人が存在する場合、頭部画像部分の大きさＬ１１、Ｌ１２は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１１、ＴＲ１２への投影像の大きさに相当する。なお、正規化画像における頭部画像部分の大きさは投影像の大きさに伴って変化する。

そして、図１０下図に示すように、正規化画像における頭部画像部分の大きさは、後方水平距離がＤ１（例えば７００ｍｍ）以上ではほぼ同じ大きさを維持するが、後方水平距離がＤ１を下回ったところで急激に増大する。

そこで、識別部３２は、後方水平距離に応じて識別処理の内容を変更する。例えば、識別部３２は、教師あり学習（機械学習）の手法を用いる場合、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。具体的には、近距離用グループと遠距離用グループに学習サンプルを分けるようにする。この構成により、識別部３２は、より高精度に人画像を識別できる。

以上の構成により、周辺監視システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する識別処理対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人を確実に検知できる。

また、周辺監視システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における識別処理対象画像領域ＴＲｇとを幾何学的に対応付けることができる。

また、抽出部３１は、識別処理対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。

また、抽出部３１は、識別処理対象画像を抽出した場合、仮想平面領域ＴＲと撮像装置４０との位置関係に関する情報として両者間の後方水平距離をその識別処理対象画像に付加する。そして、識別部３２は、その後方水平距離に応じて識別処理の内容を変更する。具体的には、識別部３２は、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。この構成により、識別部３２は、より高精度に人画像を識別できる。

また、抽出部３１は、参照点Ｐｒ毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、周辺監視システム１００は、人が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検知処理の高速化を実現できる。

次に、図１１及び図１２を参照し、人候補画像を含む可能性が高い識別処理対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１１は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１２は、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。

本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する識別処理対象画像を抽出する。

具体的には、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１１の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。

仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。

逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。

そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１２上図は、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１２下図は、図１２上図における白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。

その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１２下図は、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１〜ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。

そして、抽出部３１は、図１１に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する識別処理対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して正規化画像ＴＲｇｔを生成する。

このようにして、抽出部３１は、撮像画像における人の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで識別処理対象画像を抽出する。

なお、抽出部３１は、図１１に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は識別処理対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する識別処理対象画像を抽出してもよい。

また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布を山登りし、重みの極大点に最も近い重みを有する参照点Ｐｒから識別処理対象画像領域ＴＲｇを抽出する。

次に、図１３を参照し、コントローラ３０の抽出部３１が識別処理対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１３は、画像抽出処理の一例の流れを示すフローチャートである。抽出部３１は、例えば、撮像画像を取得する度にこの画像抽出処理を実行する。

最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。

撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。

その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。

その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。

なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ５に移行させる。

その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。

撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１〜ステップＳＴ４の処理を実行する。

一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。

次に、図１４を参照し、画像抽出処理の別の一例について説明する。なお、図１４は、画像抽出処理の別の一例の流れを示すフローチャートである。

最初に、抽出部３１は、頭部画像位置ＡＰの１つを取得する（ステップＳＴ１１）。その後、抽出部３１は、その頭部画像位置ＡＰに対応するヘルメット画像領域を取得する（ステップＳＴ１２）。本実施例では、ヘルメット画像領域は、頭部画像位置ＡＰのそれぞれについて予め設定された所定サイズの画像領域である。

その後、抽出部３１は、ヘルメット画像領域内でヘルメット画像を探索する（ステップＳＴ１３）。本実施例では、抽出部３１は、前段画像認識処理によりヘルメット画像領域内をラスタスキャンしてヘルメット画像を見つけ出す。

ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１３のＹＥＳ）、抽出部３１は、そのときの頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ１４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。

なお、抽出部３１は、ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１３のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ１５に移行させる。

その後、抽出部３１は、全ての頭部画像位置ＡＰを取得したかを判定する（ステップＳＴ１５）。そして、全ての頭部画像位置ＡＰを未だ取得していないと判定した場合（ステップＳＴ１５のＮＯ）、抽出部３１は、未取得の別の頭部画像位置ＡＰを取得し、ステップＳＴ１１〜ステップＳＴ１４の処理を実行する。一方、全ての頭部画像位置ＡＰを取得し終わったと判定した場合（ステップＳＴ１５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

このように、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、取得した頭部画像位置ＡＰに対応するヘルメット画像領域でヘルメット画像ＨＲｇを見つけ出した場合に、そのときの頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て、識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。

以上の構成により、周辺監視システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。

なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。

また、抽出部３１は、図１１に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域ＴＲｇと、識別処理対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。

次に、図１５を参照し、画像抽出処理の更に別の一例について説明する。なお、図１５は、画像抽出処理の更に別の一例の流れを示すフローチャートである。図１５の画像抽出処理は、正規化画像を生成した後でその正規化画像に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１３及び図１４のそれぞれにおける画像抽出処理と異なる。図１３及び図１４のそれぞれにおける画像抽出処理はヘルメット画像を見つけた後でそのヘルメット画像を含む画像部分を正規化するためである。

本実施例では、抽出部３１は、撮像画像における複数の所定画像部分のそれぞれを正規化して複数の正規化画像を生成し、それら正規化画像のうちヘルメット画像を含む正規化画像を識別処理対象画像として抽出する。複数の所定画像部分は、例えば、撮像画像上に予め定められた複数の識別処理対象画像領域ＴＲｇである。識別処理対象画像領域ＴＲｇ（図６参照。）は、実空間における仮想平面領域ＴＲに対応し、仮想平面領域ＴＲは実空間における参照点Ｐｒに対応する。そして、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。

最初に、抽出部３１は所定画像部分の１つから正規化画像を生成する（ステップＳＴ２１）。本実施例では、後方カメラ４０Ｂの撮像画像における予め設定された参照点Ｐｒの１つに対応する識別処理対象画像領域ＴＲｇの１つを所定画像部分とし、その所定画像部分を射影変換によって所定サイズの長方形画像に変換する。

その後、抽出部３１は、生成した正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ２２）。本実施例では、抽出部３１は、前段画像認識処理によりその正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。

正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ２２のＹＥＳ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ２３）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。すなわち、識別部３２は、抽出部３１による次の正規化が行われる前に、ヘルメット画像を含むと判定された正規化画像に対し、その正規化画像に含まれる画像が人画像であるかを識別する。そのため、周辺監視システム１００は、１つの正規化画像を記憶できるメモリ容量を有していれば撮像画像全体に対する画像抽出処理及び識別処理を実行できる。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。

正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ２２のＮＯ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出することなく処理を進める。

その後、抽出部３１は、全ての所定画像部分から正規化画像を生成したか否かを判定する（ステップＳＴ２４）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから正規化画像を生成したか否かを判定する。

全ての所定画像部分から正規化画像を生成していないと判定した場合（ステップＳＴ２４のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ２１〜ステップＳＴ２３の処理を実行する。

一方、全ての所定画像部分から正規化画像を生成したと判定した場合（ステップＳＴ２４のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

図１５の例では、周辺監視システム１００は、１つの正規化画像を生成した段階でその正規化画像にヘルメット画像が含まれるか否かを判定する。但し、複数の正規化画像を生成した段階でそれら複数の正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。また、全ての正規化画像を生成した段階でそれら全ての正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。

このような画像抽出処理により、周辺監視システム１００は、人検知処理の際のメモリアクセス回数を低減させることができる。ヘルメット画像を見つけ出す処理と識別処理対象画像を抽出する処理を同時に実行できるためである。

また、図１５の画像抽出処理を採用する周辺監視システム１００は、図１３又は図１４の画像抽出処理を採用する場合に比べ、メモリ容量を低減させることができる。図１３又は図１４の画像抽出処理は、少なくとも、正規化される前の画像部分（正規化画像より大きい画像）を記憶できるだけのメモリ容量が必要であるが、図１５の画像抽出処理は正規化画像を最初に生成するため正規化画像を記憶できるだけのメモリ容量があれば実行可能なためである。

また、図１５の画像抽出処理を採用する周辺監視システム１００は、正規化画像にヘルメット画像が含まれるか否かを判定する。そのため、図１３又は図１４の画像抽出処理のように正規化される前の画像にヘルメット画像が含まれるか否かを判定する構成に比べ、ヘルメット画像が含まれるか否かの判定に要する処理時間を短縮できる。探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるためである。その結果、識別処理対象画像の抽出に要する時間を短縮できる。また、探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるため、ヘルメット画像が含まれるか否かの判定の精度を高めることができる。

また、図１５の画像抽出処理を採用する周辺監視システム１００は、人の足位置に対する頭部位置のバラツキが大きい場合（例えば屈んでいる人の画像が撮像画像に含まれる場合）であっても、より確実な人検知を実現できる。正規化画像にヘルメット画像が含まれるか否かを判定する構成を採用しているためである。すなわち、図１３又は図１４の画像抽出処理のようにヘルメット画像の位置に関連する頭部画像位置を用いて識別処理対象画像領域を特定する構成ではなく、正規化の対象となる所定画像部分としての識別処理対象画像領域が頭部画像位置とは無関係に設定されるためである。

次に、図１６を参照し、画像抽出処理の更に別の一例について説明する。なお、図１６は画像抽出処理の更に別の一例の流れを示すフローチャートである。図１６の画像抽出処理は、所定画像部分の一部を正規化した段階でその部分的に正規化された画像（以下、「部分正規化画像」とする。）に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１５の画像抽出処理と異なる。図１５の画像抽出処理は、１つの所定画像部分の全部を正規化した段階でその正規化画像にヘルメット画像が含まれるか否かを判定するためである。

最初に、抽出部３１は、所定画像部分の一部から部分正規化画像を生成する（ステップＳＴ３１）。そして、抽出部３１は、部分正規化画像を生成した段階でその部分正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ３２）。本実施例では、抽出部３１は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成した段階で前段画像認識処理によりその部分正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。

部分正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ３２のＹＥＳ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成する（ステップＳＴ３３）。本実施例では、抽出部３１は、正規化画像の下半分に対応する所定画像部分の残りの部分を正規化して正規化画像を生成する。そして、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ３４）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。

部分正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ３２のＮＯ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成することなく処理を進める。

その後、抽出部３１は、全ての所定画像部分から部分正規化画像を生成したか否かを判定する（ステップＳＴ３５）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから部分正規化画像を生成したか否かを判定する。

全ての所定画像部分から部分正規化画像を生成していないと判定した場合（ステップＳＴ３５のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ３１〜ステップＳＴ３４の処理を実行する。

一方、全ての所定画像部分から部分正規化画像を生成したと判定した場合（ステップＳＴ３５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

図１６の例では、周辺監視システム１００は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成する。ヘルメット画像は正規化画像の上半分（人の上半身に対応する部分）に含まれる蓋然性が高いためである。但し、正規化画像の上半分より小さい部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。例えば、正規化画像の上の１／３にあたる部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。或いは、周辺監視システム１００は、正規化画像の別の一部を正規化して部分正規化画像を生成してもよい。例えば、特徴画像としての肩の画像を探索する場合、正規化画像の右半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよく、特徴画像としてのマーカの画像を探索する場合、正規化画像の中央半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。

このような画像抽出処理により、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合と同様の効果を実現できる。

また、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合に比べ、人検知処理に要する処理時間を更に短縮できる。部分正規化画像にヘルメット画像が含まれないと判定した場合、その所定画像部分の残りの部分を正規化することなく、次の所定画像部分の正規化を開始できるためである。

また、図１３〜図１６のそれぞれにおける画像抽出処理において、抽出部３１は、前段画像認識処理によって、撮像画像の所定画像部分におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。そして、抽出部３１は、見つけ出したヘルメット画像に対応する識別処理対象画像を抽出する。

しかしながら、背景画像が複雑な場合、抽出部３１は、ヘルメットの画像ではない画像をヘルメット画像であると誤って認識してしまうことがある。また、ヘルメットの画像をヘルメット画像として認識できずに見逃してしまうことがある。すなわち、抽出部３１は、撮像画像の内容によっては識別処理対象画像の抽出結果の信頼性を低下させてしまう場合がある。ここでのヘルメット画像は、人候補画像として考えることができる。すなわち、人検知結果の信頼性を低下させる場面である。抽出結果の信頼性を低下させてしまう撮像画像は、例えば、夜間環境、逆光環境、日陰環境等で撮像された撮像画像、カメラのレンズが汚れた状態で撮像された撮像画像、フレア、被写体ブレ等のある撮像画像を含む。

そこで、コントローラ３０は、抽出部３１による識別処理対象画像の抽出結果の信頼性が低い状態を人検知に不適な状態（以下、「人検知不適状態」とする。）として検知できるように構成されてもよい。人検知不適状態の検知に応じて種々の対応をとることができるようにするためである。例えば、人検知不適状態が発生していることをショベルの操作者に通知できるようにするためである。或いは、人検知不適状態が発生しているときの画像特徴等を記録して周辺監視システムの改良に有効なデータを選択的に収集できるようにするためである。或いは、人検知不適状態の検知に応じて周辺監視システム１００の動作内容を変更できるようにするためである。周辺監視システム１００の動作内容の変更は、例えば、前段画像認識処理で用いられる各種パラメータの変更、後段画像認識処理で用いられる各種パラメータの変更等を含む。

例えば、コントローラ３０は、所定の評価式を用いて各所定画像部分に関する評価値を算出し、その評価値の分布に基づいて撮像画像が人検知不適状態であるか否かを判定してもよい。具体的には、コントローラ３０は、ヘルメット度の分布に基づいて人検知不適状態が発生しているか否かを判定してもよい。ここでの評価値は、ヘルメット画像、すなわち人候補画像における人らしさの度合い又はその度合いを示すレベルとして捉えることもできる。この評価値には大小の差異があると考えてもよい。

「ヘルメット度」は、評価値の一例であり、撮像画像の所定画像部分における判定対象画像のヘルメットらしさを表す値である。探索対象がヘルメットではなく頭である場合には頭らしさを表す頭度が評価値の別の一例として用いられる。

「判定対象画像」は、特徴画像（ヘルメット画像）であるか否かの判定対象となった画像を意味する。図１３〜図１６のそれぞれにおける画像抽出処理での「ヘルメット画像」は、判定対象画像のうち、所定の採否判定値（例えばゼロである。）以上のヘルメット度を有するものを意味する。或いは、所定の採否判定値以上のヘルメット度を有する判定対象画像をヘルメット度が大きい順に並べたときの上位の所定数のものであってもよい。なお、判定対象画像は、採否判定値未満のヘルメット度を有する画像（ヘルメット画像以外の画像）を含む。仕様として選択可能な所定ヘルメット度が採否判定値として設定される。採否判定値は、抽出部３１が取得した判定対象画像のヘルメット度と比較される。

採否判定値は、判定対象画像をヘルメット画像として採用するか否かを判定するための値である。判定対象画像は、例えば、評価値としてのヘルメット度が採否判定値以上であればヘルメット画像として採用される。採否判定値は、例えば、機械学習、統計分析等により予め設定される。採否判定値は、夜間環境、逆光環境、日陰環境等のショベルの作業環境毎に別々に設定されていてもよい。ショベルの作業環境は、例えば、キャビン１０内の入力装置４２を用いて入力されてもよい。

ヘルメット度は、例えば、後段画像認識処理で用いられるＨＯＧ特徴量の算出よりも低い演算コストで算出される画像特徴量に基づいて導き出される。例えば、ヘルメット度は、ＨＯＧ特徴量の次元数よりも低い次元数の画像特徴量をランダムフォレスト等の機械学習アルゴリズムに入力して重回帰分析を行うことで導き出される。ヘルメット度は、例えば、−１〜＋１の間の実数として導き出され、＋１に近いほどヘルメットらしさが強く、−１に近いほどヘルメットらしさが弱いことを表す。「頭画像」に関する頭らしさを表す「頭度」等の他の特徴画像に関する特徴画像らしさを表す評価値についても同様である。

次に図１７を参照し、ヘルメット度の分布に基づいて撮像画像が人検知不適状態であるか否かをコントローラ３０が判定する処理（以下、「人検知適否判定処理」とする。）について説明する。図１７は人検知適否判定処理の一例の流れを示すフローチャートである。

コントローラ３０は、各所定画像部分における判定対象画像のヘルメット度を画像抽出処理の際に算出して内部メモリ等に記憶する。ヘルメット度は、例えば、所定順（降順）で並べ替えできるように記憶されてもよい。そして、コントローラ３０は、例えば、所定数の所定画像部分における判定対象画像のヘルメット度を記憶した時点で人検知適否判定処理の実行を開始し、その後はヘルメット度を新たに算出する度に人検知適否判定処理の実行を繰り返す。

また、コントローラ３０は、画像抽出処理と人検知適否判定処理とを並列的に実行する。画像抽出処理で算出されるヘルメット度を人検知適否判定処理で利用するためである。但し、画像抽出処理が完了した後で人検知適否判定処理を実行してもよい。画像抽出処理は、例えば、図１３〜図１６に示す画像抽出処理の何れかが採用される。

図１７に示すように、コントローラ３０はまずｎ番目に高いヘルメット度を取得する（ステップＳＴ４１）。コントローラ３０は、例えば、内部メモリに記憶されたヘルメット度を参照し、所定順位のヘルメット度であるｎ番目に高いヘルメット度を取得する。「ｎ」は、適宜設定される１以上の整数であり、例えば、所定画像部分（判定対象画像）の総数の２％に相当する値が採用される。内部メモリには、例えば、判定対象画像のヘルメット度が降順に並べられて記憶されている。

そして、ｎ番目に高いヘルメット度が所定の適否判定値以上であるか否かを判定する（ステップＳＴ４２）。仕様として選択可能な所定ヘルメット度が適否判定値として設定される。ｎ番目に高いヘルメット度は、適否判定値以上であるか判定される。

適否判定値は、撮像画像が人検知不適状態であるか人検知適合状態であるかを判定するための値である。採否判定値と同様に、適否判定値は、例えば、機械学習、統計分析等により予め設定される。適否判定値は、夜間環境、逆光環境、日陰環境等のショベルの作業環境毎に別々に設定されていてもよい。

ｎ番目に高いヘルメット度が適否判定値以上であると判定した場合（ステップＳＴ４２のＹＥＳ）、コントローラ３０は、撮像画像が人検知不適状態であると判定する（ステップＳＴ４３）。適否判定値が採否判定値以上であれば、「ｎ番目に高いヘルメット度が適否判定値以上である」という条件が満たされる状態は、適否判定値以上のヘルメット度を有するヘルメット画像がｎ個以上存在する状態を意味する。図１７の例では、ヘルメット画像がｎ個以上存在する撮像画像の状態を人検知不適状態と定めている。「ｎ」は、抽出部３１から識別部３２に送られる人候補画像数の基準と考えることができる。すなわち、識別部３２で処理すべき人候補画像が多いか少ないかの判断基準となる。

撮像画像が人検知不適状態であると判定した場合、コントローラ３０は撮像画像が人検知不適状態である旨をショベルの操作者に通知してもよい。例えば、コントローラ３０は、出力装置５０としての車載ディスプレイに制御指令を出力してその旨を伝えるテキストメッセージを表示させてもよい。或いは、コントローラ３０は、出力装置５０としての車載スピーカに制御指令を出力してその旨を伝える音声メッセージを音声出力させてもよい。

また、撮像画像が人検知不適状態であると判定した場合、コントローラ３０は、周辺監視システムによる人検知を中止させてもよい。信頼性の低い抽出結果に基づく人検知結果をショベルの操作者に提示しないようにするためである。

また、撮像画像が人検知不適状態であると判定した場合、コントローラ３０は、その撮像画像をＮＶＲＡＭ等に記録してもよい。周辺監視システムの改良に利用できるようにするためである。

ｎ番目に高いヘルメット度が適否判定値未満であると判定した場合（ステップＳＴ４２のＮＯ）、コントローラ３０は、撮像画像が人検知に適した状態（以下、「人検知適合状態」とする。）であると判定する（ステップＳＴ４４）。適否判定値が採否判定値以上であれば、「ｎ番目に高いヘルメット度が適否判定値未満である」という条件が満たされる状態は、適否判定値以上のヘルメット度を有するヘルメット画像がｎ個未満である状態を意味する。図１７の例から考えると、この場合は人検知不適状態とはならない。識別器で処理すべき人候補画像の数が、基準である「ｎ」未満だからである。

次に図１８を参照し、人検知適合状態及び人検知不適状態のそれぞれの特徴について説明する。図１８は、ある環境下で撮像された撮像画像における全ての所定画像部分のそれぞれから導き出された−１〜＋１の間の実数値を有するヘルメット度の度数分布図（ヒストグラム）である。縦軸の度数は、ヘルメット度に対応する検出数と考えることができる。図１８（Ａ）は人検知適合状態のときの度数分布図を示し、図１８（Ｂ）は人検知不適状態のときの度数分布図を示す。図１８（Ａ）及び図１８（Ｂ）は、明瞭性を維持するため、各ビンの図示を省略して度数曲線のみを示す。度数曲線と横軸とで囲まれた範囲は、撮像画像における所定画像部分の総数を表す。

図１８（Ａ）及び図１８（Ｂ）において、ヘルメット度が＋０．５（第１基準）のところに引かれた一点鎖線は適否判定値の位置を示し、ヘルメット度が＋０．２（第２基準）のところに引かれた二点鎖線は採否判定値の位置を示す。したがって、ヘルメット度が＋０．２以上の判定対象画像はヘルメット画像として採用され、ヘルメット度が＋０．２未満の判定対象画像はヘルメット画像として採用されない。以下では、判定対象画像のうちヘルメット画像として採用されなかったものを非ヘルメット画像と称する。なお、第１基準及び第２基準はそれぞれ変更され得る。図１８（Ａ）のヒストグラムのうち、＋０．２未満のヘルメット度を有する判定対象画像は人候補画像としては抽出されない。＋０．２以上のヘルメット度を有する判定対象画像は抽出部３１により人候補画像として抽出されたといえる。抽出された人候補画像は、識別部によって処理される識別処理対象画像として取り扱われる。なお、抽出部３１による識別処理対象画像の抽出は複数の段階で行われてもよい。そして、識別部３２は、抽出部３１が抽出した識別処理対象画像の全てに対して画像認識処理を施す。

図１８（Ａ）では、ｎ番目に高いヘルメット度は−０．３であり、適否判定値（＋０．５）より小さい。すなわち、「ｎ番目に高いヘルメット度が適否判定値未満である」という条件が満たされる。適否判定値より大きいヘルメット度を有するヘルメット画像がｎ個未満である状態を意味する。基準「ｎ」の観点から考えると、識別部３２で処理すべき識別処理対象画像の数が少ない人検知適合状態ということができる。なお、ｎ番目に高いヘルメット度を有する判定対象画像が非ヘルメット画像である場合に人検知適合状態であるということもできる。したがって、コントローラ３０は、現に取得した撮像画像が人検知適合状態であると判定する。

このように、図１８（Ａ）に示すようなヘルメット度の度数分布をもたらす撮像画像は、見つけ出されたヘルメット画像の数が少なく、非ヘルメット画像の数が多いという特徴を有する。そのため識別部３２で処理する処理対象画像は相対的に少ない。

図１８（Ｂ）では、ｎ番目に高いヘルメット度は＋０．６であり、適否判定値（＋０．５）より大きい。すなわち、「ｎ番目に高いヘルメット度が適否判定値以上である」という条件が満たされる。適否判定値より大きいヘルメット度を有するヘルメット画像がｎ個以上である状態を意味する。基準「ｎ」の観点から考えると、識別部３２で処理すべき識別処理対象画像の数が多い、人検知不適状態ということができる。なお、ｎ番目に高いヘルメット度を有する判定対象画像がヘルメット画像である場合に人検知不適状態であるということもできる。したがって、コントローラ３０は、現に取得した撮像画像が人検知不適状態であると判定する。

このように、図１８（Ｂ）に示すようなヘルメット度の度数分布をもたらす撮像画像は、見つけ出されたヘルメット画像の数が多く、非ヘルメット画像の数が少ないという特徴を有する。すなわち、誤認識されたヘルメット画像の数が多いという特徴を有する。そのため識別部３２で処理する処理対象画像は相対的に多い。

上述の通り、周辺監視システム１００は、作業機械の周辺の人を信頼性高く検知できる。また、コントローラ３０は、撮像装置４０の撮像画像のみに基づいて撮像画像が人検知不適状態であるか人検知適合状態であるかを判定できる。具体的には、抽出部３１が抽出した識別処理対象画像の数に基づいて撮像画像が人検知に不適な状態であるか否かを判定できる。この特徴によれば、人検知部は前段（抽出部３１）と後段（識別部３２）とを含み、後段の演算コストのほうが高いことは後段の負担を減らす契機となる。また、後段の処理に時間が掛かる場面であるかを判断することができる。

また、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合にその旨をショベルの操作者に通知することで、現在の人検知結果に過度に依存しないよう注意を喚起できる。

或いは、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合に人検知を中止することで、信頼性の低い抽出結果に基づく人検知結果の提示を防止できる。

或いは、周辺監視システム１００は、撮像画像が人検知不適状態であると判定した場合にその撮像画像をＮＶＲＡＭ等に記録することで、その撮像画像を周辺監視システムの改良に利用できる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、周辺監視システム１００は、人の一部を表すヘルメットの画像を特徴画像として利用しながら識別処理対象画像を抽出したが、人の全身の画像を特徴画像として利用しながら識別処理対象画像を抽出してもよい。

また、評価値は、撮像画像の一部が人の画像であるかの指標として広く用いられてもよい。評価値としてのヘルメット度は人らしさを表す値と言うこともできる。

また、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。移動式クレーン、固定式クレーン、リフマグ機、フォークリフト等の他の作業機械の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。

また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。

また、上述の実施例では、複数の撮像画像のそれぞれに対して個別に人検知処理が適用されるが、複数の撮像画像から生成される１つの合成画像に対して人検知処理が適用されてもよい。
本発明の別の実施形態に係る作業機械用周辺監視システムは、作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、前記撮像画像から複数の所定画像部分を識別処理対象画像として抽出する抽出部と、前記識別処理対象画像に含まれる画像が人の画像であるかを画像認識処理によって識別する識別部と、を有し、前記抽出部が抽出した前記識別処理対象画像の数が所定の基準より多いときに前記撮像画像が人検知に不適な状態であると判定するように構成されていてもよい。
また、作業機械用周辺監視システムは、前記複数の所定画像部分のそれぞれに関して算出される評価値を高い順に並べ、所定順位の前記評価値が所定の適否判定値以上の場合に前記撮像画像が人検知に不適な状態であると判定するように構成されていてもよい。この場合、前記評価値は、各所定画像部分の画像特徴量に基づいて算出され、且つ、各所定画像部分の人らしさを表していてもよく、前記抽出部は、前記評価値が所定の採否判定値以上の所定画像部分を前記識別処理対象画像として抽出するように構成されていてもよい。また、前記適否判定値は、前記採否判定値以上であってもよい。なお、各所定画像部分の画像特徴量の算出に要する演算コストは、典型的には、前記識別部が実行する画像認識処理で用いる画像特徴量の算出に要する演算コストよりも低い。
また、作業機械用周辺監視システムは、前記撮像画像が人検知に不適な状態であると判定した場合にその旨を通知するように構成されていてもよい。
また、作業機械用周辺監視システムは、前記撮像画像が人検知に不適な状態であると判定した場合に前記撮像画像を記録するように構成されていてもよい。

１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ３３・・・追跡部 ３４・・・人検知部 ３５・・・制御部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４２・・・入力装置 ５０・・・出力装置 ５１・・・機械制御装置 １００・・・周辺監視システム ＡＰ、ＡＰ１〜ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０〜Ｐｒ１２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０〜ＴＲ１２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・識別処理対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像

Claims (11)

1. 作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、
   前記撮像画像が人検知に不適な状態である場合、前記撮像画像が人検知に不適な状態である旨を通知する、
   作業機械用周辺監視システム。
2. 前記撮像画像が撮像される環境が人検知に適さないものであった場合に、前記撮像画像が人検知に不適な状態である旨を通知する、
   請求項１に記載の作業機械用周辺監視システム。
3. 前記環境は、夜間環境、逆光環境、日陰環境、カメラのレンズが汚れた環境、フレアが発生する環境、被写体ブレが発生する環境、及び背景が複雑な環境のうちの少なくとも１つを含む、
   請求項２に記載の作業機械用周辺監視システム。
4. 前記撮像画像から人候補画像を抽出する抽出部をさらに有し、
   前記抽出部が抽出した人候補画像の数に基づいて前記撮像画像が人検知に不適な状態であるか否かを判定する、
   請求項１乃至３の何れか一項に記載の作業機械用周辺監視システム。
5. 前記撮像画像に基づいて、人らしさを表す値である評価値を算出し、算出された評価値に基づいて前記撮像画像が人検知に不適な状態であるか否かを判定する、
   請求項１乃至４の何れか一項に記載の作業機械用周辺監視システム。
6. 前記撮像画像のみに基づいて、前記撮像画像が人検知に不適な状態であるか否かを判定する、
   請求項１乃至５の何れか一項に記載の作業機械用周辺監視システム。
7. 前記撮像画像が人検知に不適な状態は、夜間環境、逆光環境、日陰環境、カメラのレンズが汚れた環境、フレアが発生する環境、被写体ブレが発生する環境、又は、背景が複雑な環境で前記撮像画像が撮像された状態である、
   請求項６に記載の作業機械用周辺監視システム。
8. 前記撮像画像が人検知に不適な状態である場合に前記撮像画像を記録する、
   請求項１乃至７の何れか一項に記載の作業機械用周辺監視システム。
9. 前記撮像画像が人検知に不適な状態である場合、人検知を中止する、
   請求項１乃至８の何れか一項に記載の作業機械用周辺監視システム。
10. 前記撮像画像が撮像に適さない環境下で撮像された場合、前記撮像画像から抽出される人候補画像の全てが人画像であると識別する、
    請求項１乃至９の何れか一項に記載の作業機械用周辺監視システム。
11. 下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、撮像装置によって撮像された撮像画像を用いてショベルの周辺に存在する人を検知する作業機械用周辺監視システムとを有したショベルであって、
    前記撮像画像が人検知に不適な状態である場合、前記撮像画像が人検知に不適な状態である旨を通知する、
    ショベル。