JP2015210602A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】作業機械の周囲を撮影した画像内に複雑な形状の自車影が存在しても、当該自車影の存在が作業機械の周囲に存在する物体検知に影響を与えることを防止できる作業機械の周辺監視装置を提供すること。
【解決手段】作業機械の周囲の画像を撮影する単眼カメラ６と、当該画像の特徴量に基づいて当該画像中の特徴パターンを抽出する特徴パターン抽出部１７０と、当該画像中で作業機械の影とみなし得る領域の輪郭を当該画像の特徴量に基づいて抽出する影輪郭抽出部４０と、特徴パターン抽出部で抽出された特徴パターンから、影輪郭抽出部で抽出された輪郭上に位置する影輪郭特徴パターンを除外した残りの特徴パターンに基づいて、作業機械の周囲に存在する障害物を検知する物体検知部１８０とを備える。
【選択図】図３

Description

本発明は、作業機械の周囲に存在する障害物を単眼カメラ画像を利用して監視する作業機械の周囲監視装置に関する。

本技術分野の背景技術として、特開２００７−２７２２９２号公報（特許文献１）がある。この文献には、撮像装置で撮像された画像中の被撮像物のエッジに属するエッジ画素と、当該エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出し、前記画像中の影領域と非影領域との影境界に属する影境界画素と、当該影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照し、当該影境界パターンと前記算出パターンとを照合し、当該影境界パターンと一致した前記算出パターンに属する前記エッジ画素を前記影境界に存在する画素と判定する影境界抽出方法が記載されている。

特開２００７−２７２２９２号公報

本発明が適用対象とするダンプトラックおよび油圧ショベル等を含む作業機械の輪郭形状は、乗用車のそれと比較して複雑なため、地面に投影される作業機械の影（以下、自車影と称することがある）は自ずと複雑な形状となる。さらに、作業機械はオフロードを走行することが前提となるため、その自車影は、舗装路上に自車影が投影されることの多い乗用車の場合と比較してさらに複雑な形状となる。これに加えて、作業機械がオフロード走行すると、自車影の形状は地表の凹凸に応じてダイナミックに変化するため、自車影の形状は時間とともに変化することも指摘できる。

そこで、上記文献の技術のように地面に表れる複数の影の境界パターン（影境界パターン）を予め準備しておく方法を採ると、作業機械の輪郭や路面形状に合わせて無数の影境界パターンを用意しておき、これをメモリ等の記憶装置に記憶することになる。しかし、あらゆる路面形状に合わせた影境界パターンの作成は事実上不可能であり、仮に作成可能であったとしても、その膨大なデータ量が記憶可能なメモリ等の記憶装置を準備する必要があるため、イニシャルコストの観点からも現実的でない。さらに、無数の影境界パターンと算出パターンの照合には膨大な処理が必要なことが予測されるため、処理内容の観点からも現実的でない。

このように、上記文献の技術では、撮影画像中の作業機械の自車影の認識は困難である。自車影の正確な認識ができないと、例えば、自車影が作業機械の周囲に存在する物体（障害物）と誤認識され、本来は必要の無い警報が発せられて作業効率が低下するおそれがある。

また、作業機械の周囲監視装置の開発には次のような特殊事情も考慮することが必要となる。すなわち、作業機械は、一般的な乗用車と比較して巨大で車高も高いため、周囲監視用のカメラ（撮像装置）の設置位置が高くなる傾向がある。そして、当該作業機械の周囲を撮影しようとするとカメラは当該作業機械のほぼ真下を向く格好になるため（すなわち、当該カメラの俯角が大きくなるため）、もちろん太陽の位置にも依存するが、撮影画像中に自車影が大きく表れることが少なくない。そのため、周囲監視装置を機能させるためには自車影中の物体検知が必須となる。また、自車影の輪郭上に黒い物体が存在する場合には、当該物体が自車影の一部とみなされて、当該物体の検知が遅れるおそれがある。この種の作業機械特有の自車影の問題は、鉱山で利用される巨大なダンプトラック（鉱山ダンプ）等、サイズの大きい作業機械ほど顕著に表れる。

本発明の目的は、作業機械の周囲を撮影した画像内に複雑な形状の自車影が存在しても、当該自車影の存在が作業機械の周囲に存在する物体検知に影響を与えることを防止できる作業機械の周辺監視装置を提供することにある。

上記目的を達成するために、本発明は、作業機械に搭載され当該作業機械の周囲の画像を撮影する単眼カメラと、当該画像の特徴量に基づいて当該画像中の特徴パターンを抽出する特徴パターン抽出部と、前記画像中で前記作業機械の影とみなし得る領域の輪郭を当該画像の特徴量に基づいて抽出する影輪郭抽出部と、前記特徴パターン抽出部で抽出された前記特徴パターンから、前記影輪郭抽出部で抽出された輪郭上に位置する特徴パターンを除外した残りの特徴パターンに基づいて、前記作業機械の周囲に存在する障害物を検知する物体検知部とを備えるものとする。

本発明によれば、作業機械の周囲を撮影した画像内に時間変化する複雑な形状の自車影が存在しても、当該自車影の輪郭とみなされた部分が障害物検知対象から適切に除外されるので、自車影の誤認識の防止と障害物検知精度の向上が可能となる。

本実施の形態に係るダンプトラックの上面図 図１に示したダンプトラック１の側面図。 画像処理装置の全体構成図。 画像合成部で実行される処理手順の一例。 ４台のカメラの入力画像を画像合成部で合成した画像の一例。 基準処理対象領域設定部による領域特定を行う前に予め行っておく処理対象領域の設定手順。 影輪郭抽出部４０の機能ブロック図。 影有無判定部４２及び影領域抽出部４３で実行される処理のフローチャート。 図８中のステップ４２ｂの輝度分布図。 アウトライン画像作成部により作成される自車影のアウトラインを示す図。 図３から特徴パターン抽出部及び影輪郭特徴パターン抽出部の周辺を抽出した図。 コーナー点抽出部及び特徴パターン抽出部による処理の説明図。 コーナー点抽出部及び特徴パターン抽出部による処理の説明図。 影輪郭特徴パターン抽出部で実行される処理のフローチャート。 図１４のステップ５３ｆで抽出される特徴パターンの一例を示す図。 図１４のステップ５３ｆで抽出される特徴パターンの他の一例を示す図。 図１４のステップ５３ｆで抽出される特徴パターンのさらに他の一例を示す図。 影輪郭特徴パターンマスク部６０で実行される処理のフローチャート。 図１５のコーナー点５１ａ及びコーナー点５１ｂを影輪郭特徴パターンマスク部がステップ６０ｂで所定回数膨張した画像例を示す図。 図１６のコーナー点５１ｅ及びコーナー点５１ｆ及びコーナー点５１ｇ及びコーナー点５１ｈを影輪郭特徴パターンマスク部がステップ６０ｂで所定回数膨張した画像例を示す図。 図１７のコーナー点５１ｅ、コーナー点５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ、５１Ｆ、５１Ｇ、５１Ｈ、５１Ｐを影輪郭特徴パターンマスク部がステップ６０ｂで所定回数膨張した画像例を示す図。 画像合成部で合成されたシーンに影輪郭特徴パターンマスク部がマスクした領域を表示装置に表示した画面例を示す図。 影輪郭特徴パターン領域マスク部でマスクされる領域を表示装置に俯瞰画像で表示した画面の一例を示す図。 影輪郭特徴パターン領域マスク部でマスクされる領域を表示装置に俯瞰画像で表示した画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 本発明の作業機械の周囲監視装置の全体構成のその他の例を示す図。 本発明の作業機械の周囲監視装置に係る影有無判定部４２及び影領域抽出部４３で実行される処理の他のフローチャート。 本発明の適用対象である作業機械の１つである大型油圧ショベルの側面図。

本発明の実施の形態を説明する前に、まず、本発明の実施の形態に係る作業機械の周囲監視装置に含まれる主な特徴について説明する。

後述する本実施の形態に係る作業機械の周囲監視装置は、作業機械に搭載され当該作業機械の周囲の画像を撮影する単眼カメラ（例えば、後述のカメラ６）と、当該画像の特徴量に基づいて当該画像中の特徴パターン（例えば、当該画像中のコーナーやエッジ）を抽出する特徴パターン抽出部（例えば、後述の特徴パターン抽出部１７０）と、前記画像中で前記作業機械の影とみなし得る領域の輪郭を当該画像の特徴量に基づいて抽出する影輪郭抽出部（例えば、後述の影輪郭抽出部４０）と、前記特徴パターン抽出部で抽出された前記特徴パターンから、前記影輪郭抽出部で抽出された輪郭上に位置する特徴パターンを除外した残りの特徴パターンに基づいて、前記作業機械の周囲に存在する障害物を検知する物体検知部（例えば、後述の物体検知部１８０）とを備えることを特徴とする。

このように構成された周囲監視装置では、前記作業機械の影（自車影）の形状の複雑さに関わらず当該影の輪郭（影輪郭）がサンプリング間隔ごとに抽出され、当該影輪郭上に位置する特徴パターンが障害物検知対象から除外されるので、当該自車影が誤って障害物として認識されることを防止できる。さらに、当該影輪郭上に存在しない特徴パターンは依然として前記物体検知部による障害物検知対象となるので、例えば前記影輪郭上に自動車等の障害物が存在しており、当該障害物に係る特徴パターンのうち当該影輪郭上に存在するものが除去されても、残りの特徴パターン（例えば、自車影の内部に存在する特徴パターン）は依然として障害物検知対象として残るので、当該残りの特徴パターンに基づいて障害物検知を行えば当該障害物を即座に検知できる。

なお、上記の周囲監視装置では、作業機械の自車影の輪郭上に当該自車影の内外に渡って黒い障害物（例えば、黒色の乗用車）が存在する場合には、当該黒い障害物の輪郭を影輪郭とみなす場合があるが、その場合にも当該障害物に係る特徴パターンは、当該自車影の外部および内部に残留するので、当該残留した特徴パターンに基づいて当該障害物の検知が可能である。つまり、上記の周囲監視装置の構成であれば、前記作業機械の影境界を正確に認識する必要がなく、誤って影境界を認識した場合にも障害物の検知が速やかに可能である。

したがって、本実施の形態によれば、作業機械の周囲を撮影した画像内に時間変化する複雑な形状の自車影が存在しても、当該自車影の輪郭とみなされた部分が障害物検知対象から適切に除外されるので、自車影の誤認識の防止と障害物検知精度の向上が可能となる。

ところで、一般的に、作業機械が鉱山で利用される場合には、鉱物に由来する色（例えば、鉄鉱石採掘現場では、鉄鉱石特有の赤茶色）が地表に表れることもある。そのため、前記単眼カメラの撮影画像から自車影を抽出する場合の特徴量として、画像中の色を選択すると、自車影および影輪郭の抽出性能が低下するおそれが高まる。さらに、色は光の変化によっても変化するため、この観点からも色を特徴量として選択することは適切ではない。これに対して、本発明では、画像の色を自車影を抽出する際の特徴量として用いないため、鉱山などの地面に不規則な色の変化が現れる場所で利用しても、作業機械の周囲の障害物検知に支障をきたすことがない。また、本発明は、単眼カメラによって撮影した１枚の画像（静止画）から作業機械の周囲に存在する物体の検知が可能である点もメリットとなる。

なお、上記における「特徴パターン」とは、特徴量に基づいて画像の特徴を抽出することで検出される当該特徴の形状を示し、例えば、点（コーナー）、線・輪郭線（エッジ）、領域などが該当する。

以下、本発明を用いた作業機械の周囲監視装置の例を、図面を用いて説明する。ここでは作業機械としてダンプトラックを適用した例について説明するが、作業機械はダンプトラックのみに限定されない。つまり、本発明は、油圧ショベルを含む、所定の作業（運搬や掘削等）を行う任意の作業機械に適用することができる。

図１は、本実施の形態に係るダンプトラックの上面図を示している。この図に示すダンプトラック１は、車体フレーム２と、車体フレーム２に対して回転可能に取り付けられた前輪３（３ Ｌ及び３Ｒ）と後輪４（４Ｌ及び４Ｒ）と、車体フレーム２の上方に起伏可能に取り付けられたベッセル５と、シャーシや車体フレーム２等に固定された単眼カメラ６（６ａ及び６ｂ及び６ｃ及び６ｄ）と、車体フレーム２の前方上部に設けられた運転室７と、車体フレーム２上の任意の場所（例えば運転室７の内部）に搭載された画像処理装置１０と、運転室７の内部に設けられた表示装置１００とを備えている。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは車両右側の前輪であり、前輪３Ｌは車両左側の前輪である。また、後輪４Ｒは車両右側の２つの後輪であり、後輪４Ｌは車両左側の２つの後輪である。ベッセル５はいわゆる荷台であり、土砂や鉱物等を積載するために利用される。なお、図示した前輪３および後輪４の配置および数は一例に過ぎない。

撮像装置である単眼カメラ６は、ダンプトラック１の任意の位置に設置することができる。本実施の形態では、合計４台のカメラ６ａ，６ｂ，６ｃ，６ｄが搭載されており、カメラ６ａは、その視野範囲１１（図１の破線１１の範囲）に車両前方１５ａが含まれるように、ダンプトラック１の前方上部に斜め下方を俯瞰する格好で設置されている。これと同様に、カメラ６ｂは、視野範囲１２に車両右側方１５ｂが含まれるように車両右側方上部に設置されており、カメラ６ｃは、視野範囲１３に車両後方１５ｃが含まれるように車両後方上部に設置されており、カメラ６ｄは、視野範囲１４に車両左側方１５ｄが含まれるように車両左側方上部に設置されている。

図１の例では、太陽０がダンプトラック１の左側後方上空に位置しているため、ダンプトラック１の影（自車影）は前方９０ａと右側方９０ｂに発生している。なお、図１上では模式的にダンプトラック１の前方と右側方に表れる影９０ａ，９０ｂを分割して表示しているが、実際には２つの影９０ａ，９０ｂは繋がっている（後の図も同様とする）。

図２は図１に示したダンプトラック１の側面図を示している。

前方視野範囲１１（図２の破線１１の範囲）を有するカメラ６ａは運転室７から見て右斜め前方の位置に取り付けられ、右側方視野範囲１２（図２の破線１２の範囲）を有するカメラ６ｂは運転室７から見ての右斜め後方の位置に取り付けられ、後方視野範囲１３（図２の破線１３の範囲）を有するカメラ６ｃは車体フレーム２の後方に取り付けられている。右側方視野範囲１２（図２に示していない）カメラ６ｄは運転室７から見て左斜め後方の位置に取り付けられているが、図２には示されていない。カメラ６ａ及びカメラ６ｂ及びカメラ６ｃ及びカメラ６ｄが撮影した映像は画像データとして画像処理装置１０に出力される。

運転室７はオペレータが搭乗してダンプトラック１を操作するためのステアリングハンドル、アクセルペダルおよびブレーキペダルを含む各種の操作手段が設けられている。その他の操作手段としては、例えば、ダンプトラック１を前進または後進させるシフトレバーがある。運転室７には画像処理装置１０と表示装置１００とが設けられており、カメラ６ａ及びカメラ６ｂ及びカメラ６ｃ及びカメラ６ｄにより撮影・生成される画像データは画像処理装置１０で所定の画像処理が行なわれる。画像処理が行なわれた画像データは表示装置１００に表示される。基本的に表示装置１００にはカメラ６ａ及びカメラ６ｂ及びカメラ６ｃ及びカメラ６ｄが撮影する映像が表示されている。

ここで、図２においては、前方視野範囲１１はダンプトラック１の前方の斜め下方の領域となっている。前方視野範囲１１には、作業員、他の作業機械、サービスカー等が含まれることもある。右側方視野範囲１２、後方視野範囲１３、左側方視野範囲１４も同様である。

図３は本発明の第１の実施の形態に係る画像処理装置１０の全体構成図である。この図に示す画像処理装置１０は、画像入力部２０と、画像記憶部３０と、画像合成部３５と、基準処理対象領域設定部８０と、特徴パターン抽出部１７０と、影輪郭抽出部４０と、影輪郭特徴パターン抽出部５０と、影輪郭特徴パターン領域マスク部６０と、物体検知部１８０を備えている。

４台のカメラ６ａ，６ｂ，６ｃ，６ｄで撮影されたカメラ画像は、それぞれ所定のサンプリング間隔で画像入力部２０に入力され、画像記憶部３０に記憶される。

画像記憶部３０は、画像入力部２０からの入力画像を異なる間隔でサンプリングして記憶し、例えば、停止時はサンプリング間隔を長く、移動時はサンプリング間隔を短くして記憶するため、必要最低限の入力画像による画像処理でよく、時間短縮が図れて処理の適正化を図ることが可能になる。

画像合成部３５は、４台のカメラ６ａ，６ｂ，６ｃ，６ｄから出力され画像記憶部３０に記憶された複数のカメラ画像を１画像に合成する。

本発明の作業機械の周囲監視装置の画像合成部３５で実行される処理手順の一例を図４に示す。まず、ステップ３５ａで、画像合成部３５は、４台のカメラ６ａ，６ｂ，６ｃ，６ｄのうちどのカメラの画像であるか判定する。そして、前方カメラ６ａの場合には画像処理画面の左上に配置する処理を行ない（ステップ３５ｂ）、右側方カメラ６ｂの場合には画像処理画面の右上に配置する処理を行ない（ステップ３５ｃ）、後方カメラ６ｃの場合には画像処理画面の右下に配置する処理を行ない（ステップ３５ｄ）、左側方カメラ６ｄの場合には画像処理画面の左下に配置する処理を行う（ステップ３５ｅ）。この手順により４台のカメラ６ａ、６ｂ、６ｃ、６ｄの画像を１フレームとする合成画像が生成される（ステップ３５ｆ）。

本発明の作業機械の周囲監視装置のカメラ６ａの入力画像２０ａと、カメラ６ｂの入力画像２０ｂと、カメラ６ｃの入力画像２０ｃと、カメラ６ｄの入力画像２０ｄとを画像合成部３５で合成した画像の一例を図５に示す。図５には、入力画像２０ａにおいて自車影９０ａが、入力画像２０ｂにおいて自車影９０ｂが発生している。また、入力画像２０ａには、自車影９０ａと同様の暗い領域として、黒い車１１０及び非自車影１１１が存在している（例えば、黒い車が作業機械の下方に潜っている場合には当該黒い車は当該作業機械の影（自車影）とはならない）。

本実施の形態では、作業機械本体の一部１５ａ，１５ｂに接触する暗い領域が存在し、かつ当該暗い領域の面積が所定値（当該所定値は、作業機械の大きさと太陽０の位置に依存する値とする）以上の場合に、当該暗い領域を自車影（自車影９０ａ，９０ｂ）と判定するものとする。一方、面積が所定値未満の暗い領域については、たとえ作業機本体の一部１５ａ，１５ｂと接触していても非自車影１１１とする。

このように自車影と非自車影を区別する理由は、後述する影輪郭画像作成部４６で影の輪郭画像を作成する場合、影輪郭特徴パターン領域マスク部６０が非自車影の輪郭画像を処理対象領域から除外してマスク領域とするので、マスク領域が広がることで障害物検知性能が低下することを防ぐためである。また、面積が所定値未満の暗い領域は、非自車影１１１と判定されるが、作業機械は車体が大きいため、自車影の面積も検知対象物体（例えば、サービスカー）より大きくなることが多く、自車影の面積が非自車影より小さくなることは稀である。

なお、４台のカメラ６ａ、６ｂ、６ｃ、６ｄの画像を１枚の画像にした例として図５のものを挙げて説明したが、これは一例に過ぎず、当該1枚の画像における各画像の配置は図５に示したもの以外のものでも良い。また、ここで説明する例では、４台のカメラ画像を利用して障害物検知を行うが、障害物検知に利用するカメラの台数（すなわち、障害物検知に利用する画像の枚数）はいくつでも良い。

図３に戻り、基準処理対象領域設定部８０は、予め設定された処理対象領域に基づいて、画像合成部３５で合成された各画像２０ａ，２０ｂ，２０ｃ，２０ｄ上で後続の各種処理（例えば物体検知部１８０による障害物検知を含む）が行われる領域を特定する部分である。

基準処理対象領域設定部８０による領域特定を行う前に予め行っておく処理対象領域の設定手順を図６に示す。ここではカメラ６ａで撮影した入力画像２０ａに対して処理対象領域を設定する場合について説明する。入力画像２０ａに対して、オペレータが予め手動によりマウス等で基準点を順次指示して閉領域８１ａを指定すると、当該閉領域８１ａに基づいて処理対象領域８２ａが生成される。

なお、図６では基準処理対象領域設定部８０を手動で設定する場合について説明したが、輪郭情報を利用する等して画像処理により処理対象領域を自動で設定しても良いし、他のツール（例えば、画像から自動的に抽出した路面等を処理対象領域として設定するツール等）で設定しても良く、処理対象領域８２ａが生成されれば特に手法を限定する必要はない。また、処理対象領域の設定は、例えば、地面全体が含まれるように囲んだ閉領域や、地面の一部を囲むような閉領域でも良い。さらに、ここでは、画像２０ａのみに処理対象領域を設定したが、他の画像２０ｂ，２０ｃ，２０ｄにも設定しても良いことは言うまでも無い。

影輪郭抽出部４０は、基準処理対象領域設定部８０により決定設定された処理対象領域内においてダンプトラック１の影とみなし得る領域の輪郭（影輪郭）を当該画像の特徴量に基づいて抽出する部分である。なお、ここで「ダンプトラック１の影とみなし得る領域」とは、ダンプトラック１の実際の影領域と一致する必要は無く、画像処理の関係上ダンプトラック１の影と認識される領域も含むものとし、例えばダンプトラック１の影の輪郭上に黒い車両が存在する場合には、当該黒い車両の輪郭がダンプトラック１の影とみなされることもある。影輪郭抽出部４０は、画像合成部３５によって合成された１画像を、１個のフレームとして影輪郭抽出を行なう。

ここで本実施の形態に係る影輪郭抽出部４０が備える具体的な機能を図７に示す。この図に示すように影輪郭抽出部４０は、処理対象領域画像作成部４１、影有無判定部４２、影領域抽出部４３、影領域のアウトライン画像作成部４４、膨張画像作成部４５、影輪郭画像作成部４６として機能する。

まず、処理対象領域画像作成部４１ａは、画像記憶部３０に記憶された画像中に、基準処理対象領域設定部８０で処理対象領域として設定された閉領域を作成する。これにより以降の処理は該閉領域内に限定して行われることになる。

影有無判定部４２は、処理対象領域内の影の有無を判定し、影が有ると判定した場合、影領域抽出部４３で影の領域を抽出する。ここで影有無判定部４２の詳細について図８を用いて詳述する。

図８は本発明の作業機械の周囲監視装置に係る影有無判定部４２及び影領域抽出部４３で実行される処理のフローチャートである。まず、ステップ４２ａにおいて、影有無判定部４２は、各画像２０ａ，２０ｂ，２０ｃ，２０ｄの処理対象領域内に対して平滑化処理を行うことでノイズを低減し、ステップ４２ｂでは、各画像２０ａ，２０ｂ，２０ｃ，２０ｄの処理対象領域内において輝度分布図を作成する。次に、ステップ４２ｃでは、影有無判定部４２は、ステップ４２ｂで作成した輝度分布図をチェックし、輝度分布が所定の閾値以上の部分の面積を算出する。ステップ４２ｄでは当該算出面積が所定値未満か否かを判定し、当該所定値未満の場合（面積がゼロの場合も含む）には、ステップ４２ｅで影候補ありと判定する。一方、ステップ４２ｄで算出面積が所定値以上と判定された場合には、ステップ４２ｋで自車影無しと判定して処理を終了する。

ステップ４２ｆでは、影領域抽出部４３は、影候補領域を抽出するための２値化閾値を決定して２値画像を作成し、ステップ４２ｇで当該２値画像に対して膨張及び収縮等の整形処理を行う。ステップ４２ｈでは、当該２値画像における暗い部分の面積が所定値以上の領域を影候補領域とする 。最後に、ステップ４２ｉでは、影領域抽出部４３が、当該影候補領域が自車領域付近か否か判定し、自車領域付近の場合にはステップ４２ｊで自車影有りと判定し、当該影候補領域を影領域として抽出して処理を終了する。

一方、ステップ４２ｉで影候補領域が自車領域付近に無い場合には、ステップ４２ｋで自車影無しと判定して処理を終了する。

なお、ステップ４２ｉにおいて、影候補領域が自車領域付近に位置するとは、図５の説明で記述したように、自車影となる暗い領域９０ａが作業機械本体の一部１５ａに接触していることを意味するものとする。

図９は、図８中のステップ４２ｂの輝度分布図を説明図である。図９において、度数７５は、輝度が存在する画素数を示している。この図の例では、各カメラ６ａ，６ｂ，６ｃ，６ｄの画像２０ａ，２０ｂ，２０ｃ，２０ｄについて輝度分布図７０ａ，７０ｂ，７０ｃ，７０ｄが作成されている。

ステップ４２ｃでは、例えば、カメラ６ａの入力画像２０ａの輝度分布図７０ａに関して、基準処理対象領域内において影を抽出するための所定の２値化閾値７１以上の部分の面積を算出するが、当該閾値以上の部分には面積が存在しないため、ステップ４２ｅにおいて「影候補あり」と判定される。このように影候補が存在する場合には、明るい地面の輝度と暗い影の輝度に分散するため、２値化閾値７１を突出しない輝度分布図７０ａとなる。

また、カメラ６ｂの入力画像２０ｂの輝度分布図７０ｂに関しても同様に、基準処理対象領域内における２値化閾値７１以上の部分には面積が存在しないため、「影候補あり」と判定される。

一方、カメラ６ｃの入力画像２０ｃの輝度分布図７０ｃは、基準処理対象領域内における２値化閾値７１以上の部分７２ｃには面積が存在し、当該部分７２ｃの面積が閾値以上となるため、「自車影なし」と判定される。このように影候補が存在しない場合には、地面の輝度が大部分であり、これにより２値化閾値７１を突出した輝度分布図７０ｃとなる。

更に、カメラ６ｄの入力画像２０ｄの輝度分布図７０ｄに関しても同様に、基準処理対象領域内における２値化閾値７１以上の部分７２ｄの面積が閾値以上となるため「自車影なし」と判定される。

図１０はアウトライン画像作成部４４（図７参照）により作成される自車影９０ａ及び自車影９０ｂのアウトラインを示す図である。この図に示すように、アウトライン画像作成部４４は、図８の一連の処理で抽出した自車影９０ａの領域における外郭線（輪郭線）を自車影９０ａのアウトライン７３ａとする。同様に、自車影９０ｂの領域における外郭線（輪郭線）を自車影９０ｂのアウトライン７３ｂとする。 影領域のアウトライン画像の膨張画像作成部４５は、アウトライン画像作成部４４により作成されたアウトライン画像のアウトライン（影輪郭）に対して膨張処理を行う。この膨張画像作成部４５による膨張処理は、アウトライン画像中のアウトラインに対して所定の幅を与える処理であり、例えば、膨張回数を指定することで間接的に幅を指定しても良い。膨張回数は、必要最低限でよく、１〜３回程度である。

影輪郭画像作成部４６は、膨張画像作成部４５により膨張処理が加えられたアウトライン画像を影の輪郭画像とする。これにより画像記憶部３０の画像に影が発生している場合には、影輪郭抽出部４０により当該影の輪郭が抽出される。

図３に戻り、特徴パターン抽出部１７０は、画像２０ａ，２０ｂ，２０ｃ，２０ｄ中の特徴量に基づいて当該各画像２０ａ，２０ｂ，２０ｃ，２０ｄ中の特徴パターンを抽出する部分である。本実施の形態では基準処理対象領域設定部８０の機能により、処理対象領域内の特徴パターンのみが抽出されることになる。

図１１は、図３から特徴パターン抽出部１７０及び影輪郭特徴パターン抽出部５０の周辺を抽出した図を示しており、ここでは特徴パターン抽出部１７０により抽出される特徴パターンとしてコーナー点を利用する場合を例に挙げて説明する。図１１において、特徴パターン抽出部１７０は、コーナー点抽出部５１、コーナー点群の特徴パターン抽出部５２として機能する。なお、特徴パターン抽出部１７０で抽出する特徴パターンとしては、特徴量に基づいて画像の特徴を抽出することで検出される当該特徴の形状を示すものであれば良く、例えば、コーナー点に代えてまたは加えて、線・輪郭線（エッジ）や領域を利用しても良い。

コーナー点抽出部５１は、画像中のコーナー点をＨａｒｒｉｓのコーナー検出等で抽出する。コーナー点群の特徴パターン抽出部５２は、複数のコーナー点から成るコーナー点群の特徴パターンを抽出する。図１２及び図１３はコーナー点抽出部５１及び特徴パターン抽出部５２による処理の説明図である。図１２に示した自車影のアウトライン７３ａの例では、アウトライン７３ａのコーナー部に存在するコーナー点５１ａ及びコーナー点５１ｂ（コーナー点群）が特徴パターンとして抽出される。また、図１３にした車の例では、コーナー点は当該車の輪郭上のコーナーに存在するため、複数のコーナー点５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ，５１Ｅ，５１Ｆ，５１Ｇ，５１Ｈ，５１Ｉ，５１Ｊ，５１Ｋ，５１Ｌ，５１Ｍ，５１Ｎ、５１Ｐが抽出される。つまり、これらのコーナー点群５１Ａ〜５１Ｐが、車の特徴パターンとして生成される。

影輪郭特徴パターン抽出部５０は、影輪郭に重畳している特徴パターン（例えばコーナー点））を抽出する。具体的には、影輪郭特徴パターン抽出部５０は、影輪郭抽出部４０で抽出した影輪郭画像（影のアウトラインを膨張した画像）に重畳している特徴パターンを抽出して、影輪郭特徴パターンとする。本実施の形態で特徴パターンとしてコーナー点を用いる理由の１つは、影に存在するコーナー点の数は、検知対象物体に存在するコーナー点の数より比較的少ない傾向があり、影輪郭特徴パターンが抽出しやすいためである。

図１４は影輪郭特徴パターン抽出部５０で実行される処理のフローチャートである。まず、ステップ５３ｅにおいて、影輪郭特徴パターン抽出部５０は、影輪郭抽出部４０で作成された影輪郭画像に重畳している特徴パターン（コーナー点（特徴点））が存在するか否か判定する。ステップ５３ｅにおいて影輪郭に重畳する特徴パターンが存在すると判定された場合には、ステップ５３ｆで当該重畳している特徴パターンを抽出して、これを影輪郭特徴パターンと決定する（ステップ５３ｇ）。

一方、ステップ５３ｅにおいて影輪郭に重畳する特徴パターンが存在しない場合、影輪郭特徴パターンが存在しないと決定する（ステップ５３ｈ）。

図１５は、図１４のステップ５３ｆで抽出される特徴パターンの一例を示す図である。この図の影輪郭画像５３ａａは、自車影９０ａを膨張処理したものである。コーナー点５１ａ及びコーナー点５１ｂは、影輪郭画像５３ａａに重畳しているので、コーナー点５１ａ及びコーナー点５１ｂは、ステップ５３ｇで影輪郭特徴パターンとして決定される。

図１６は、図１４のステップ５３ｆで抽出される特徴パターンの他の一例を示す図である。この図の影輪郭画像５３ｂｂは、自車影９０ｂを膨張したものである。コーナー点５１ｅ及びコーナー点５１ｆ及びコーナー点５１ｇ及びコーナー点５１ｈは、影輪郭画像５３ｂｂに重畳しているので、コーナー点５１ｅ及びコーナー点５１ｆ及びコーナー点５１ｇ及びコーナー点５１ｈは、影輪郭特徴パターンとして決定される。

図１７は、図１４のステップ５３ｆで抽出される特徴パターンのさらに他の一例を示す図である。この図の例では、自車影９０ｂに黒い車が進入した場合について説明する。黒い車の場合、車も影とみなされて、影領域のアウトライン画像作成部４４（図７参照）で作成した影領域のアウトライン画像Ｓ５３ａに対して、膨張画像作成部４５（図７参照）が膨張処理を設定回数行なった画像５３ｄｄが作成される。そして、画像５３ｄｄに重畳したコーナー点（特徴パターン）として、影の輪郭上のコーナー点５１ｅに加えて、車の輪郭上のコーナー点５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ、５１Ｆ、５１Ｇ、５１Ｈ、５１Ｐが抽出され、これらが影輪郭特徴パターンとして抽出される。

影輪郭特徴パターンマスク部６０は、影輪郭に重畳している特徴パターン（影輪郭特徴パターン）を膨張した領域を作成し、当該領域（マスク領域）を処理対象領域から除外する。また、影輪郭特徴パターンを抽出して除外するため、影の誤報が低減できるだけでなく、画像処理における処理領域の適正化が可能となる。影輪郭特徴パターンマスク部６０のマスク領域を表示装置１００に表示すると、作業機械の運転者は、作業機械の停止時及び移動時でも、影の誤報に影響されないで作業機械の周囲を監視することが可能となる。

図１８は、影輪郭特徴パターンマスク部６０で実行される処理のフローチャートである。まず、影輪郭特徴パターンマスク部６０は、ステップ６０ａにおいて、影輪郭上に重畳している特徴パターンが存在するか否か判定を行う。

ステップ６０ａで影輪郭上に重畳している特徴パターンが存在すると判定された場合には、ステップ６０ｂにおいて、抽出した特徴パターンを所定回数（数回程度）膨張する処理を行なう。膨張処理は、特徴パターンを数回程度膨張することで行われるが、Ｈａｒｒｉｓのコーナー検出を用いると特徴パターンは１画素で抽出されるため、直径５〜１０画素程度の塊になるように膨張すればよい。

次に、ステップ６０ｃでは、膨張した領域をマスク領域として決定し、ステップ６０ｄで、マスク領域をマスク部として、処理対象領域から除外する処理を行なう。

一方、ステップ６０ａで影輪郭上に重畳している特徴パターンが存在しないと判定された場合には、ステップ６０ｅでマスク領域なしと判定する。

これにより、特徴パターンを抽出して影輪郭の特徴パターン領域部のみを除外するため、画像処理における処理領域の適正化が可能となる。

図１９は、図１５のコーナー点５１ａ及びコーナー点５１ｂを影輪郭特徴パターンマスク部６０がステップ６０ｂで所定回数（数回程度）膨張した画像例を示す図である。影輪郭上の特徴パターンであるコーナー点５１ａ及びコーナー点５１ｂに対して、８方向又は４方向に数回程度膨張処理が施されると、コーナー点５１ａが膨張した点５１ａａが生成され、コーナー点５１ｂが膨張した点５１ｂｂが生成される。該領域５１ａａ及び５１ｂｂは、ステップ６０ｄにおいて、マスク部として、処理対象領域（物体検知部１８０により障害物検知が行われる領域）から除外される。このように構成された周囲監視装置によれば、自車影の形状の複雑さに関わらず当該影の輪郭（影輪郭）がサンプリング間隔ごとに抽出され、当該影輪郭上に位置する特徴パターン（領域５１ａａ及び５１ｂｂ）が影輪郭特徴パターンマスク部６０により障害物検知対象から除外されるので、当該自車影が誤って障害物として認識されること（影の誤報）を防止できる。

図２０は、図１６のコーナー点５１ｅ及びコーナー点５１ｆ及びコーナー点５１ｇ及びコーナー点５１ｈを影輪郭特徴パターンマスク部６０がステップ６０ｂで所定回数（数回程度）膨張した画像例を示す図である。影輪郭上の特徴パターンであるコーナー点５１ｅに対して、８方向又は４方向に数回程度膨張処理が施されると、膨張した点５１ｅｅが生成される。コーナー点５１ｆｆ、５１ｇｇ及び５１ｈｈも同様に膨張処理を行なって、該コーナー点５１ｅｅ及び５１ｆｆ及び５１ｇｇ及び５１ｈｈをマスク部として、処理対象領域から除外する。

図２１は、図１７のコーナー点５１ｅ、コーナー点５１Ａ、５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ、５１Ｆ、５１Ｇ、５１Ｈ、５１Ｐを影輪郭特徴パターンマスク部６０がステップ６０ｂで所定回数（数回程度）膨張した画像例を示す図である。影輪郭上の特徴パターンであるコーナー点５１Ａに対して、８方向又は４方向に数回程度膨張処理が施されると、膨張した点５１ＡＡが生成される。コーナー点５１ｅ、コーナー点５１Ｂ、５１Ｃ、５１Ｄ、５１Ｅ、５１Ｆ、５１Ｇ、５１Ｈ、５１Ｐも同様に膨張処理を行なって、該コーナー点５１ｅｅ、５１ＡＡ、コーナー点５１ＢＢ、５１ＣＣ、５１ＤＤ、５１ＥＥ、５１ＦＦ、５１ＧＧ、５１ＨＨ、５１ＰＰをマスク部として、処理対象領域から除外する。

これにより、図１７のように自車影の中に車が存在した場合には、図１７のコーナー点５１Ｉ、コーナー点５１Ｊ、コーナー点５１Ｋ、コーナー点５１Ｌ、コーナー点５１Ｍ、コーナー点５１Ｎはマスク部とされないため、処理対象領域から除外されないで残存する。従って、物体検知部１８０は、コーナー点５１Ｉ、コーナー点５１Ｊ、コーナー点５１Ｋ、コーナー点５１Ｌ、コーナー点５１Ｍ、コーナー点５１Ｎを用いて自車影内の障害物（図１７の例では車）を即座に検知することができる。なお、図示した物体は例示に過ぎず、車の他の障害物（例えば人）でも同様に検知できることは言うまでも無い。

したがって、本実施の形態によれば、ダンプトラック１自身の周囲を撮影した画像が複雑だったり当該画像に色成分が存在しても、先行技術のように予め記憶しておいた影境界パターンを参照することなく、更に色成分も用いることもなく、カメラ６により撮影した少なくとも１枚の画像から当該画像に写っている自車影を抽出することができるので、自車影の誤認識が低減して処理速度と作業効率が向上する。

図２２は、画像合成部３５で合成されたシーンに影輪郭特徴パターンマスク部６０がマスクした領域を表示装置１００に表示した画面例を示す図である。この図では、カメラ６ａの入力画像２０ａ、カメラ６ｂの入力画像２０ｂ、カメラ６ｃの入力画像２０ｃ、およびカメラ６ｄの入力画像２０ｄを画像合成部３５で合成したシーンが表示装置１００に表示されており、入力画像２０ａ上には処理対象から除外された特徴パターンとしてコーナー点５１ａａ，５１ｂｂが表示され、入力画像２０ｂ上にはコーナー点５１ｅｅ、５１ｆｆ、５１ｇｇ、５１ｈｈが表示されている。このように処理対象領域から除外する領域（影輪郭特徴パターン）が表示装置１００に表示されると、影輪郭特徴パターンが除外された処理対象領域（障害物検知対象領域）が一目瞭然となり、運転員は処理対象領域をリアルタイムに確認することが可能になる。

また、図２３及び図２４に示すように、ダンプトラック１の周囲に俯瞰表示で表示すると、運転員は運転室７からの方向感覚と違和感のない感覚で前後左右の状況を把握することが可能であり、物体検知対象から除外された領域（特徴パターン）を瞬時に判断できる。ここで、図２３及び図２４は、ダンプトラック１の前部を上側に表示した例であり、運転室７はダンプトラック１の左上の位置に表示される。

図２３は、影輪郭特徴パターン領域マスク部６０でマスクされる領域を表示装置１００に俯瞰画像１１０で表示した画面の一例を示す図である。この図の例では、ダンプトラック１の周囲から遠方の距離（約１２ｍ程度）まで表示領域に広げて表示装置１００に表示している。この図では、入力画像２０ａの俯瞰画像２０ａａ、入力画像２０ｂの俯瞰画像２０ｂｂ、入力画像２０ｃの俯瞰画像２０ｃｃおよび入力画像２０ｄの俯瞰画像２０ｄｄが処理対象領域であり、俯瞰画像２０ａａの処理対象から除外されるコーナー点５１ａａ、５１ｂｂが表示されているとともに、俯瞰画像２０ｂｂの処理対象から除外されるコーナー点５１ｅｅ、５１ｆｆ、５１ｇｇ、５１ｈｈが表示されている。なお、表示装置１００の中央部に表示した図形は、ダンプトラック１を示しており、図示したもの以外にもダンプトラック１を示すものであれば他の図形を表示しても良い。

図２４は、影輪郭特徴パターン領域マスク部６０でマスクされる領域を表示装置１００に俯瞰画像１１０で表示した画面の一例を示す図である。この図の例では、ダンプトラック１の周囲から比較的近距離（約５ｍ程度）の範囲に表示領域を限定して表示装置１００に表示している。この図では、入力画像６ｂｂの俯瞰画像２０ｂｂ内の自車影９０ｂに黒い車が進入しており、俯瞰画像２０ｂｂの処理対象から除外されるコーナー点５１ｅｅ、５１ＡＡ、５１ＢＢ、５１ＣＣ、５１ＤＤ、５１ＥＥ、５１ＦＦ、５１ＧＧ、５１ＨＨが表示されている。これにより、黒い車の残りの特徴パターンに基づいて物体検知部１８０が当該黒い車を障害物として検出し、ダンプトラック１に障害物が接近していることを示す警告表示１９０が表示画面１１０上に表示される。

図示した警告表示１９０は、障害物の特徴パターンの外形に略接するように規定された矩形であり、表示装置１００の画面上に表示された警告表示１９０により運転員は障害物の接近を容易に認知できる。警告表示１９０の形状は、矩形以外の図形でも良く、図形に色を付しても良いし、時間とともに形状や色を変化させても良い。なお、本実施の形態では、物体検知部１８０によって障害物が検知されたことを報知する報知装置の役割を表示装置１００が果たしているが、障害物報知の方法としては音声を発生する音声装置や警告灯を利用しても良い。

図２５は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成された俯瞰画像１１０と、後方カメラ６ｃで撮影されたそのままの画像（スルー画像）１１１とを並列して表示した例であり、俯瞰画像１１０ではダンプトラック１の前部が上側に表示されており、運転室７がダンプトラック１の左上に表示されている。後方カメラ６ｃによるスルー画像１１１を表示することにより、運転員は見慣れたカメラ画像に基づいて違和感なく後方の障害物（車両１０５）を判別できる。図示した例では俯瞰画像１１０とスルー画像１１１の双方に警告表示１９０が表示されており、運転員は車両１０５の接近を容易に把握できる。

図２６は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１２に関して、ダンプトラック１の周囲から比較的近距離（約５ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ａは、表示範囲に追随して図２５の場合よりも大きく表示されており、ダンプトラック１ａの前部は画像中の右側に表示され、運転室７は表示画面の右上に表示されている。表示範囲をダンプトラック１の近くに限定しており、ダンプトラック１の近くに存在する障害物（車両１０５）が大きく表示されるので、運転員はダンプトラック１の近くに存在する最も危険な障害物を明瞭に判別できる。

図２７は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１３に関して、ダンプトラック１の周囲から中距離（約８ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ｂは、表示範囲に追随して図２６の場合よりも小さく表示されている。表示範囲を中距離に設定すると、運転員はダンプトラック１から中距離の位置に存在する障害物（車両１０５）まで判別できる。

図２８は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１４に関して、ダンプトラック１の周囲から遠距離（約１２ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ｃは、表示範囲に追随して図２７の場合よりも小さく表示されている。表示範囲を遠距離に設定すると、運転員はダンプトラック１から遠距離の位置に存在する障害物（車両１０５）まで判別できる。

図２９は表示装置１００の表示画面の一例を示す図である。この図の例は、右側方カメラ６ｂのスルー画像１１６と左側方カメラ６ｄのスルー画像１１５を並列に表示している。このように左右のスルー画像１１６，１１５を表示すると、ダンプトラック１の左右に存在する障害物の判別が容易になるので、ダンプトラック１が左右旋回する場合等の障害物発見が容易になる。

図３０は表示装置１００の表示画面の一例を示す図である。この図の例は、後方カメラ６ｃのスルー画像１１７を表示している。このように後方のスルー画像１１７を表示すると、ダンプトラック１の後方に存在する最も発見の難しい障害物の発見が容易になる。

図３１は本発明の作業機械の周囲監視装置の全体構成のその他の例である。図３と同じ部分については同じ符号を付して説明を省略する。図３１において、作業機械形状データ定義部２０１は、作業機械の仕様に基づいて当該作業機械の形状データが定義されている部分である。特徴パターン記憶部２００は、作業機械形状データ定義部２０１で定義されている形状データ（外観形状）を当該作業機械の仕様に基づいて抽出し、その抽出した形状データを当該作業機械の外形を示す特徴パターンとして記憶する。ここでの外観形状（形状データ）は、作業機械の全長、全幅、全高、外観凹凸状態等を含んでおり、自車影の形状に関連する情報であればこれ以外の情報でもよい。

影輪郭特徴パターン抽出部５０は、影輪郭抽出部４０で得られる影輪郭画像と、特徴パターン記憶部２００に記憶された形状データとを参照しながら影輪郭画像に重畳している特徴パターンを影輪郭特徴パターンとして決定する。なお、影輪郭特徴パターン抽出部５０において、特徴パターン抽出部１７０で抽出されたコーナー点群と、特徴パターン記憶部２００に記憶された形状データとのパターンマッチングを行ない、両者のマッチング率が所定値以上で両者が類似している場合には、当該コーナー点群を影輪郭の特徴パターンとして抽出しても良い。

また、画像記憶部３０は、作業機械の起動時に画像入力部２０からの画像を一旦入力したら、これ以降は作業機械稼働データ２０２に基づいて得られる作業機械の稼働状況をチェックし、作業機械が停止中でない場合（稼働中の場合）には画像入力部２０から画像を入力し、作業機械が停止中の場合には画像入力部２０からの画像の入力を中断する。これにより、作業機械の稼働状況に応じて異なるサンプリング間隔で画像入力部２０から画像をサンプリングすることが可能になる。これにより、必要最低限の入力画像に基づいて画像処理を行えばよく、時間短縮が図れて処理の適正化が図れる。

なお、画像記憶部３０による作業機械稼働データ２０２に基づいた上記処理を行わない場合には、一定のサンプリング間隔で画像入力部２０からの画像をサンプリングすれば良い。

図３２は本発明の作業機械の周囲監視装置に係る影有無判定部４２及び影領域抽出部４３で実行される処理の他のフローチャートである。図８に示したフローチャートと同じ処理については同じ符号を付して説明は省略する。この図のフローチャートにおけるステップ４２ｂｂでは、ステップ４２ａで平滑化処理した画像の基準処理対象領域内に対して色成分を抽出する処理を行なう。そして、ステップ４２ｃｃで基準処理対象領域が色成分が存在する領域のみから構成されているか否かを判定する。

ステップ４２ｃｃで色成分が存在しない領域が有ると判定されたら、ステップ４２ｄｄに進んで当該色成分が存在しない領域を抽出する。そして、ステップ４２ｅｅにおいて、影候補領域を抽出するための、２値化閾値を決定して２値画像を作成し、ステップ４２ｇ以降の処理を行なう。

一方、ステップ４２ｃｃで、色成分が存在する領域のみと判定された場合には、テップ４２ｋの処理を行なう。このように影の判定に色成分を用いることが可能な場合には、影か否かを判定する精度を向上できる。

ところで、既述のように本発明の適用対象はダンプトラックに限定されず、他の作業機械にも適用可能である。図３３は、本発明の適用対象である作業機械の１つであるいわゆるローダタイプの大型油圧ショベルの側面図である。この油圧ショベルは、下部走行体１５５と、この下部走行体１５５の上部に旋回台軸受け１５７を介して旋回可能に設けた上部旋回体１５６と、この上部旋回体１５６に俯仰動可能に連結された多関節型のフロント作業機１５８とを備えている。多関節型のフロント作業機１５８に備えられたバケット１５２が接地状態で開口部が前方側へ向くように配置され、バケット開閉シリンダ１６４がバケット１５２に図示するように装設されている。また、ブームシリンダ１６１、バケットシリンダ１６２、アームシリンダ１６３、及びバケット開閉シリンダ１６４がそれぞれ伸縮動作によりブーム上げ／下げ、アーム押し／引き、バケットクラウド／ダンプ、バケット閉止／開放を行うようになっている。このように構成された油圧ショベルに複数台のカメラ（例えば図中のカメラ６a，６ｃ，６ｄ）及び画像処理装置1０をはじめとした上記の各構成を搭載すれば、上記のダンプトラック１の場合と同様に周囲監視装置を構成することができる。

なお、本発明は、上記の各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の各実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

また、上記の画像処理装置に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記の画像処理装置に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該画像処理装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

６ａ，６ｂ，６ｃ，６ｄ…カメラ、３０…画像記憶部、３５…画像合成部、４０…影輪郭抽出部、５０…影輪郭特徴パターン抽出部、６０…影輪郭特徴パターン領域マスク部、８０…基準処理対象領域設定部、１００…表示装置、１７０…特徴パターン抽出部、１８０…物体検知

Claims (5)

1. 作業機械に搭載され当該作業機械の周囲の画像を撮影する単眼カメラと、
   当該画像の特徴量に基づいて当該画像中の特徴パターンを抽出する特徴パターン抽出部と、
   前記画像中で前記作業機械の影とみなし得る領域の輪郭を当該画像の特徴量に基づいて抽出する影輪郭抽出部と、
   前記特徴パターン抽出部で抽出された前記特徴パターンから、前記影輪郭抽出部で抽出された輪郭上に位置する特徴パターンを除外した残りの特徴パターンに基づいて、前記作業機械の周囲に存在する障害物を検知する物体検知部とを備えることを特徴とする作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周辺監視装置において、
   前記物体検知部によって障害物が検知されたことを報知する報知部をさらに備えることを特徴とする作業機械の周辺監視装置。
3. 請求項２に記載の作業機械の周辺監視装置において、
   前記画像を利用して前記作業機械を含む俯瞰画像を作成する画像合成部と、
   当該俯瞰画像が表示される表示部とをさらに備えることを特徴とする作業機械の周辺監視装置。
4. 請求項１から３のいずれかに記載の作業機械の周辺監視装置において、
   前記画像中で前記物体検知部による障害物検知が行われる処理対象領域を設定するための処理対象領域設定部をさらに備え、
   前記影輪郭抽出部は、前記処理対象領域内で前記作業機械の影とみなし得る領域の輪郭を抽出し、
   前記物体検知部は、前記特徴パターン抽出部で抽出された前記特徴パターンのうち前記処理対象領域内に存在するものから、前記影輪郭抽出部で抽出された輪郭上に位置する特徴パターンを除外したものに基づいて障害物を検知することを特徴とする作業機械の周囲監視装置。
5. 請求項１に記載の作業機械の周辺監視装置において、
   前記特徴パターン抽出部は、前記画像中の前記特徴パターンとしてコーナーおよび／またはエッジを抽出することを特徴とする作業機械の周囲監視装置。

Images