JP2017203352A - ショベル - Google Patents

Abstract

【課題】画像センサの弱みを補うことでより確実に人を検知できるショベルを提供すること。【解決手段】本発明の実施例に係るショベルは、下部走行体１と、下部走行体１に旋回可能に搭載される上部旋回体３と、上部旋回体３に取り付けられ且つショベル周辺の監視空間を撮像する画像センサ２０と、上部旋回体３に取り付けられ且つ撮像空間の端にある監視空間における物体を検出する物体検出センサ２１と、人の存否を判定する制御装置３０と、制御装置３０による判定結果を出力する出力装置２２と、を備える。【選択図】図２

Description

本発明は、画像センサの出力に基づいて周囲の人の存否を判定するショベルに関する。

画像センサとしてのカメラと物体検出センサとしての焦電型赤外線センサとを備え、カメラの出力と赤外線センサの出力とに基づいてショベル周辺に存在する人を検知するショベルが知られている（特許文献１参照。）。

特開２０１４−１８１５０８号公報

しかしながら、特許文献１のショベルは、２つのセンサの出力をそれぞれ独立に用いて人を検知するのみであり、画像センサの撮像空間の端に存在する人を検知し難いという問題がある。撮像画像の端では人の全体が映っておらず体の一部のみが映っていること（画素欠け）が多いためである。

そこで、上述のような画像センサの弱みを補うことでより確実に人を検知できるショベルを提供することが望ましい。

本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられ且つショベル周辺の第１空間を撮像する画像センサと、前記上部旋回体に取り付けられ且つ前記第１空間の端にある第２空間における物体を検出する物体検出センサと、人の存否を判定する制御装置と、前記制御装置による判定結果を出力する出力装置と、を備える。

上述の手段により、画像センサの弱みを補うことでより確実に人を検知できるショベルを提供できる。

ショベルの側面図である。 人検知システムの構成例を示すブロック図である。 画像センサ及び物体検出センサの配置例を示すショベルの上面図である。 画像センサ及び物体検出センサの別の配置例を示すショベルの上面図である。 人検知処理のフローチャートである。 重複空間における人検知処理のフローチャートである。 人検知処理の別の一例のフローチャートである。 図７の処理を実行するショベルの上面図である。 物体検出センサの別の配置例を示すショベルの上面図である。

最初に、図１を参照して、本発明の実施例に係るショベル（掘削機）について説明する。図１はショベルの側面図である。図１に示すショベルの下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にバケット６が取り付けられている。ブーム４、アーム５、バケット６は、ブームシリンダ７、アームシリンダ８、バケットシリンダ９によりそれぞれ油圧駆動される。上部旋回体３には、キャビン１０が設けられ且つエンジン１１等の動力源が搭載される。

次に、図２を参照し、図１のショベルに搭載される人検知システム５０について説明する。図２は、人検知システム５０の構成例を示す機能ブロック図である。

人検知システム５０は、ショベル周辺に存在する人を検知するシステムであり、主に、画像センサ２０、物体検出センサ２１、出力装置２２、制御装置３０等で構成される。

画像センサ２０は、ショベル周辺の画像を取得するための装置である。画像センサ２０は、例えば、ＣＣＤ、ＣＭＯＳ等の撮像素子で構成され、制御装置３０に対して撮像画像を出力する。本実施例では、画像センサ２０は、キャビン１０にいる操作者の死角を撮像できるように上部旋回体３の上面の左側端部、右側端部、及び後側端部に取り付けられた３台の単眼カメラであり、３台の単眼カメラのそれぞれには広い範囲を撮像できるよう広角レンズが装着されている。

物体検出センサ２１はショベル周辺に存在する物体を検出する。物体検出センサ２１は、例えば、キャビン１０にいる操作者の死角に存在する物体を検出できるよう上部旋回体３の左側面、右側面、及び後面に取り付けられる。物体検出センサ２１は、例えば、超音波センサ、レーザレーダセンサ、ミリ波センサ等であり、ショベルから所定距離範囲内に存在する樹木、建物、人等を検出し、人とそれ以外の物体とを区別しない。また、物体検出センサ２１は、対応する監視空間内のエネルギ変化を検出するセンサであってもよい。具体的には、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等であってもよい。本実施例では、物体検出センサ２１は、焦電型赤外線センサであり、動体（移動する熱源）を物体として検出する。

「監視空間」は、物体検出センサ２１が監視する空間を意味し、例えば、物体検出センサ２１が所定サイズ以上の物体を検出できる範囲を含む。監視空間は、例えば、最大検出距離、水平検出角度、垂直検出角度等を用いて定められる。

出力装置２２は、各種情報を出力する装置であり、例えば、キャビン１０内に設置されたＬＥＤランプ、車載スピーカ、車載ディスプレイ等である。

制御装置３０は、ＣＰＵ、揮発性記憶装置、不揮発性記憶装置等を備えたコンピュータである。本実施例では、制御装置３０は、例えば、第１判定部３１、第２判定部３２、第３判定部３３、処理内容変更部３４、画像生成部３５等の機能要素のそれぞれに対応するプログラムをＣＰＵに実行させて各機能要素に対応する機能を実現する。

第１判定部３１は、画像センサ２０の出力に基づいてショベル周辺における人の存否を判定する。すなわち、第１判定部３１は、樹木、建物等の人以外の物体と人とを区別する。第１判定部３１は、例えば、ＨＯＧ特徴量等の画像特徴量を利用して撮像画像中の人画像を見つけ出すことでショベル周辺における人の存否を判定する。第１判定部３１は、他の公知の画像認識技術を用いてショベル周辺における人の存否を判定してもよい。

第１判定部３１は、例えば、画像センサ２０が撮像した撮像画像から画像部分を抽出し、画像部分毎に人の存否を判定する。画像部分は、撮像画像のサイズより小さい画像領域であり、撮像画像中の位置によってその形状及び大きさが異なる。撮像画像ではショベルから遠い位置に存在する人ほど小さく表示され、画像中心から遠い位置に存在する人ほど歪んで表示されるためである。本実施例では、撮像画像中に１０００個以上の画像部分が設定されており、その形状及び大きさは予め設定されている。

第１判定部３１は実空間における人の位置を特定できる。各画像部分は実空間における各位置に対応づけられているためである。具体的には、ある画像部分が人の画像を含むと判定された場合には、その画像部分に対応付けられている実空間の位置に実際に人が存在すると推定されるためである。

第２判定部３２は、物体検出センサ２１の出力に基づいてショベル周辺における物体の存否を判定する。第２判定部３２は、例えば、監視空間内のエネルギ変化が所定の閾値を上回った場合にその監視空間内に物体が進入したと判定する。

本実施例では、第２判定部３２は、実空間における物体の位置を特定しない。物体検出センサ２１としての焦電型赤外線センサは、監視空間内に物体が存在するか否かを判定するのみであり、監視空間内の物体の位置までは特定していないためである。但し、物体検出センサ２１が監視空間内の物体の位置を特定できるタイプのものであれば、第２判定部３２は、物体検出センサ２１の出力に基づいて実空間における物体の位置を特定してもよい。

第３判定部３３は、第１判定部３１の判定結果と第２判定部３２の判定結果とに基づいてショベル周辺における人の存否を判定する。すなわち、第３判定部３３は、画像センサ２０の出力と物体検出センサ２１の出力とに基づいて人の存否を判定する。

第３判定部３３は、例えば、画像センサ２０の撮像空間と物体検出センサ２１の監視空間との位置関係に基づいて第１判定部３１の判定結果と第２判定部３２の判定結果とを使い分けるようにする。第３判定部３３の詳細については後述する。

「撮像空間」は、画像センサ２０が撮像する空間を意味し、例えば、画像センサ２０が人を識別可能に撮影できる範囲を含む。撮像空間は、例えば、画像センサ２０の解像度、水平画角、垂直画角等を用いて定められる。

処理内容変更部３４は、所定条件が満たされた場合に、第１判定部３１による判定処理の内容、又は、第２判定部３２による判定処理の内容を変更する。

例えば、処理内容変更部３４は、第２判定部３２で物体が存在すると判定された場合に、第１判定部３１による判定処理の内容を変更する。判定処理の内容の変更は、例えば、撮像画像中のどの画像部分を優先的に抽出するかといった画像部分の抽出順の変更、画像特徴量を用いて人画像であるか否かを判定する際に用いられる閾値の増減等を含む。また、処理内容変更部３４は、第１判定部３１で人が存在すると判定された場合に、第２判定部３２による判定処理の内容を変更してもよい。なお、処理内容変更部３４の詳細については後述する。

画像生成部３５は、画像センサ２０が撮像した撮像画像に基づいて車載ディスプレイに表示するための出力画像を生成する。画像生成部３５は、例えば、３台のカメラが出力する３つの撮像画像を合成し且つ視点変換処理を施して出力画像を生成する。３つの撮像画像が合成され且つ視点変換処理が施された出力画像は、例えば、ショベルのＣＧ画像の少なくとも一部を包囲するように配置された俯瞰画像である。また、画像生成部３５は、３台のカメラのうちの１台が出力する１つの撮像画像に基づいて出力画像を生成してもよい。

ここで、図３を参照し、画像センサ２０の撮像空間と物体検出センサ２１の監視空間の配置例について説明する。図３は、図１のショベルの上面図であり、上部旋回体３の左側に取り付けられた左カメラ２０Ｌ及び左物体検出センサ２１Ｌ、２１Ｌａ、上部旋回体３の後側に取り付けられたバックカメラ２０Ｂ及び後方物体検出センサ２１Ｂ、２１Ｂａ、並びに、上部旋回体３の右側に取り付けられた右カメラ２０Ｒ及び右物体検出センサ２１Ｒ、２１Ｒａを示す。また、図３は、キャビン１０内に設置された車載スピーカ２２Ａ、車載ディスプレイ２２Ｖ、及び制御装置３０を示す。

図３の一点鎖線で囲まれた範囲は画像センサ２０の撮像空間を示す。具体的には、撮像空間ＣＬは左カメラ２０Ｌの撮像空間を示し、撮像空間ＣＢはバックカメラ２０Ｂの撮像空間を示し、撮像空間ＣＲは右カメラ２０Ｒの撮像空間を示す。

破線で囲まれた範囲は物体検出センサ２１の監視空間を示す。具体的には、監視空間ＺＬは左物体検出センサ２１Ｌの監視空間を示し、監視空間ＺＬａは左物体検出センサ２１Ｌａの監視空間を示す。また、監視空間ＺＲは右物体検出センサ２１Ｒの監視空間を示し、監視空間ＺＲａは右物体検出センサ２１Ｒａの監視空間を示す。また、監視空間ＺＢは後方物体検出センサ２１Ｂの監視空間を示し、監視空間ＺＢａは後方物体検出センサ２１Ｂａの監視空間を示す。図３の例では、監視空間ＺＬ、ＺＬａは撮像空間ＣＬの端に配置され、監視空間ＺＲ、ＺＲａは撮像空間ＣＲの端に配置され、監視空間ＺＢ、ＺＢａは撮像空間ＣＢの端に配置されている。例えば、監視空間ＺＬは、撮像空間ＣＬの端を含む空間であり、遠方に延びる撮像空間ＣＬの一端の境界を挟んだ撮像空間ＣＬ側（撮像空間ＣＬの内部）の空間とその反対側（撮像空間ＣＬの外部）の空間とを含む。監視空間ＺＬａ、ＺＢ、ＺＢａ、ＺＲ、ＺＲａについても同様である。

斜線ハッチングが付された範囲は、画像センサ２０の撮像空間と物体検出センサ２１の監視空間とが重複する重複空間を示す。具体的には、重複空間ＳＬは撮像空間ＣＬと監視空間ＺＬとが重複する重複空間を示し、重複空間ＳＬａは撮像空間ＣＬと監視空間ＺＬａとが重複する重複空間を示す。また、重複空間ＳＲは撮像空間ＣＲと監視空間ＺＲとが重複する重複空間を示し、重複空間ＳＲａは撮像空間ＣＲと監視空間ＺＲａとが重複する重複空間を示す。また、重複空間ＳＢは撮像空間ＣＢと監視空間ＺＢとが重複する重複空間を示し、重複空間ＳＢａは撮像空間ＣＢと監視空間ＺＢａとが重複する重複空間を示す。

なお、各空間の範囲を示す円弧部分は便宜上描かれたものであり、各空間の半径方向の境界は実際にはより遠いところ（例えば無限遠方）に位置する。

第３判定部３３は、例えば、左カメラ２０Ｌの撮像空間ＣＬ内であって左物体検出センサ２１Ｌ、２１Ｌａの監視空間ＺＬ、ＺＬａ内でない空間（撮像空間ＣＬのうち重複空間ＳＬ、ＳＬａ以外の空間）に関しては、第１判定部３１の判定結果をそのまま最終的な判定結果として採用する。或いは、監視空間ＺＬ、ＺＬａ内に物体が存在すると第２判定部３２が判定している場合、第３判定部３３は、撮像空間ＣＬのうち重複空間ＳＬ、ＳＬａ以外の空間に関しては、処理内容変更部３４を用いて第１判定部３１による人検知の判定条件を緩和させてもよい。例えば、超音波センサのみで物体を検出している場合、画像処理で人が存在すると判定するまでは警告音を出力しないが、画像処理で人が存在すると判定され易くしてもよい。

なお、例えば左物体検出センサ２１Ｌで既に物体を検出している場合、第１判定部３１は、左物体検出センサ２１Ｌで既に検出された物体に関する画像部分に関して人の存否を判定できるため、撮像画像のみから人の存否を判定する場合よりも高い信頼性で人の存否を判定できる。これは、誤検知の頻度を低減させる効果を有する。誤検知は、人でないものを人と判定してしまうこと、及び、人を人でないと判定してしまうことを含む。

また、第３判定部３３は、例えば、左物体検出センサ２１Ｌの監視空間ＺＬ内であって左カメラ２０Ｌの撮像空間ＣＬ内でない空間（監視空間ＺＬのうち重複空間ＳＬ以外の空間）に関しては、第２判定部３２の判定結果をそのまま最終的な判定結果として採用する。監視空間ＺＬａのうち重複空間ＳＬａ以外の空間についても同様である。

また、第３判定部３３は、例えば、左カメラ２０Ｌの撮像空間ＣＬ内であり且つ左物体検出センサ２１Ｌの監視空間ＺＬ内である重複空間ＳＬに関しては、第１判定部３１で人が存在すると判定され、且つ、第２判定部３２で物体が存在すると判定された場合に人が存在すると判定する。左カメラ２０Ｌの撮像空間ＣＬ内であり且つ左物体検出センサ２１Ｌａの監視空間ＺＬａ内である重複空間ＳＬａについても同様である。

また、第３判定部３３は、画像センサ２０の撮像空間内に人が存在すると判定した場合、出力装置２２に制御指令を出力し、その撮像空間内に人が存在することをショベルの操作者に伝える。例えば、第３判定部３３は、左カメラ２０Ｌの撮像空間ＣＬ内に人が存在すると判定した場合、撮像空間ＣＬ内に人が存在することを伝える音声メッセージを車載スピーカから出力させ、且つ、撮像空間ＣＬ内に人が存在することを伝えるテキストメッセージを車載ディスプレイ２２Ｖに表示させる。車載ディスプレイ２２Ｖにショベル周辺の画像が表示されている場合には、その人の画像部分を強調表示してもよい。

なお、上述の説明は、左カメラ２０Ｌ及び左物体検出センサ２１Ｌ、２１Ｌａに関する第３判定部３３の判定方法に適用されている。しかしながら、バックカメラ２０Ｂ及び後方物体検出センサ２１Ｂ、２１Ｂａに関する第３判定部３３の判定方法、並びに、右カメラ２０Ｒ及び右物体検出センサ２１Ｒ、２１Ｒａに関する第３判定部３３の判定方法にも同様に適用される。

また、左カメラ２０Ｌの撮像空間ＣＬ内であり且つ左物体検出センサ２１Ｌ、２１Ｌａの監視空間ＺＬ、ＺＬａ内である重複空間ＳＬ、ＳＬａに関する第３判定部３３の判定方法は、撮像空間ＣＬ内であり且つ監視空間ＺＢ内である重複空間に適用されてもよい。撮像空間ＣＢ内であり且つ監視空間ＺＬａ内である重複空間、撮像空間ＣＢ内であり且つ監視空間ＺＲａ内である重複空間、及び、撮像空間ＣＲ内であり且つ監視空間ＺＢａ内である重複空間についても同様である。

この構成により、人検知システム５０は、画像センサ２０の出力に基づく判定結果と物体検出センサ２１の出力に基づく判定結果とを有効に利用しながら、より迅速且つ正確にショベル周辺に存在する人を検知できる。

また、人検知システム５０は、撮像画像の端で第１判定部３１による人検知能力が低下してしまうという欠点（画像センサ２０の弱みに起因する欠点）を補うことができる。具体的には、撮像画像の端では人の全体が映っておらず体の一部のみが映っていること（画素欠け）が多いため、撮像画像の中心部で人の存否を判定するときと同様の判定基準で判定処理を行うと誤検知の頻度を増大させてしまう。その結果、撮像画像の端に人の体の一部の画像が現れた場合であっても、人であるとの判定が遅れてしまい、或いは、人であるとの判定が行われない場合がある。これに対し、撮像空間の端に配置された監視空間で物体を検出した場合に第１判定部３１が採用している判定基準を緩和することで、誤検知の頻度を低減させながら、より早期に且つ正確に人を検知できる。

このように、人検知システム５０は、画像センサ２０の弱みを補うことでより確実に人を検知できる。そして、撮像空間の端から進入してくる人を高い信頼性で検知することができる。なお、「撮像空間の端から進入してくる人」は、静止している撮像空間に進入してくる人、及び、撮像空間が動いたために撮像空間に入った人（静止している人を含む。）を含む。撮像空間はショベルの走行又は旋回に伴って移動するためである。

また、人検知システム５０は、撮像空間の端に監視空間をもたらす物体検出センサ２１を必要とするのみで、撮像空間の全体をカバーする広い監視空間をもたらすような物体検出センサ２１を必要としない。そのため、低コスト且つ簡易な構成を実現できる。

次に、図４を参照し、画像センサ２０の撮像空間と物体検出センサ２１の監視空間の別の配置例について説明する。図４は、図１のショベルの上面図であり、図３に対応する。

図４の配置例は、左物体検出センサ２１Ｌａ、右物体検出センサ２１Ｒａ、及び後方物体検出センサ２１Ｂ、２１Ｂａが省略された点で図３の配置例と異なる。

このように、互いに重複して配置される撮像空間ＣＬ、ＣＢ、ＣＲを１つの撮像空間として捉え、その撮像空間の両側に物体検出センサの監視空間ＺＬ、ＺＲが配置されるようにしてもよい。図３の配置例を用いた場合とほぼ同様の効果を得ながら物体検出センサの数を低減させるためである。なお、左物体検出センサ２１Ｌａ、右物体検出センサ２１Ｒａ、及び後方物体検出センサ２１Ｂ、２１Ｂａの全てが省略された場合ばかりでなく、そのうちの少なくとも１つが省略された場合にも同じことが言える。

また、図４の二点鎖線で囲まれた範囲は画像センサ２０の撮像空間内に予め設定された部分空間ＤＬ、ＤＲを示す。部分空間ＤＬは、撮像空間ＣＬ内に予め設定された、監視空間ＺＬの側にある部分空間を示す。また、部分空間ＤＲは、撮像空間ＣＲ内に予め設定された、監視空間ＺＲの側にある部分空間を示す。部分空間の利用方法については後述する。

次に、図５を参照し、人検知システム５０がショベル周辺に存在する人を検知する処理（以下、「人検知処理」とする。）の一例について説明する。図５は、人検知処理のフローチャートであり、人検知システム５０は、所定の制御周期で繰り返しこの人検知処理を実行する。

最初に、制御装置３０の第３判定部３３は、第２判定部３２で物体が存在すると判定したか否かを確認する（ステップＳＴ１）。例えば、第３判定部３３は、図４に示すような左物体検出センサ２１Ｌの監視空間ＺＬ及び右物体検出センサ２１Ｒの監視空間ＺＲのうちの少なくとも１つで第２判定部３２によって物体が存在すると判定されたか否かを確認する。

第２判定部３２で物体が存在すると判定していた場合（ステップＳＴ１のＹＥＳ）、処理内容変更部３４は、画像センサ２０の撮像空間内における所定の部分空間に関する画像部分の第１判定部３１による抽出の優先順位を高くする（ステップＳＴ２）。

例えば、処理内容変更部３４は、監視空間ＺＬで第２判定部３２によって物体が存在すると判定された場合、撮像空間ＣＬ内の部分空間ＤＬに関する画像部分の第１判定部３１による抽出の優先順位を高くする。

第１判定部３１は、撮像空間ＣＬ内の部分空間ＤＬ以外の空間に関する画像部分よりも優先的に、部分空間ＤＬに関する画像部分を抽出して人の存否を判定する。監視空間ＺＬに存在する物体が部分空間ＤＬに進入する可能性が高いと考えられるためである。

一方、第２判定部３２で物体が存在しないと判定していた場合（ステップＳＴ１のＮＯ）、第３判定部３３は、抽出の優先順位を変更することなく、ステップＳＴ３に移行する。例えば、第１判定部３１は、画像センサ２０が撮像した撮像画像で画像部分がｎ行ｍ列の配列を構成するように配置されている場合、１行目の１列目にある左上隅の画像部分からｎ行目のｍ列目にある右下隅の画像部分まで順番に抽出する。具体的には、１行目の左端の画像部分から右端の画像部分を順番に抽出した後、２行目の左端の画像部分から右端の画像部分を順番に抽出し、以降も同様の順番で画像部分を抽出する。

その後、第３判定部３３は、第１判定部３１で人が存在すると判定したか否かを確認する（ステップＳＴ３）。例えば、第３判定部３３は、図４に示すような左カメラ２０Ｌの撮像空間ＣＬ、バックカメラ２０Ｂの撮像空間ＣＢ、及び右カメラ２０Ｒの撮像空間ＣＲのうちの少なくとも１つで第１判定部３１によって人が存在すると判定されたか否かを確認する。

第１判定部３１で人が存在すると判定していた場合（ステップＳＴ３のＹＥＳ）、第３判定部３３は、画像センサ２０の撮像空間内に人が存在するとの判定結果を出力する（ステップＳＴ４）。例えば、第３判定部３３は、音声メッセージを車載スピーカから出力させることで、ショベル周辺に人が存在することを操作者に伝える。

一方、第１判定部３１で人が存在しないと判定している場合（ステップＳＴ３のＮＯ）、第３判定部３３は、今回の人検知処理を終了させる。

この構成により、人検知システム５０は、上述の効果に加え、監視空間ＺＬを通って撮像空間ＣＬに進入する物体に関する画像部分をより早期に抽出して撮像空間ＣＬ内の人の存否をより早期に判定できるという追加的な効果を実現する。

ステップＳＴ２では、処理内容変更部３４は、部分空間ＤＬに関する画像部分の第１判定部３１による判定基準を緩和してもよい。例えば、第１判定部３１が画像特徴量を用いて人画像であるか否かを判定する際に用いられる閾値を増減させてもよい。

次に、図６を参照し、画像センサ２０の撮像空間と物体検出センサ２１の監視空間との重複部分である重複空間における人検知処理について説明する。図６は、重複空間における人検知処理のフローチャートである。人検知システム５０は、所定の制御周期で繰り返しこの処理を実行する。

最初に、制御装置３０の第３判定部３３は、第１判定部３１で人が存在すると判定したか否かを確認する（ステップＳＴ１１）。例えば、第３判定部３３は、図３又は図４に示すような左カメラ２０Ｌの撮像空間ＣＬ、バックカメラ２０Ｂの撮像空間ＣＢ、及び右カメラ２０Ｒの撮像空間ＣＲのうちの少なくとも１つで第１判定部３１によって人が存在すると判定されたか否かを確認する。

第１判定部３１で人が存在すると判定していた場合（ステップＳＴ１１のＹＥＳ）、第３判定部３３は、その人の存在位置が物体検出センサ２１の監視空間内であるか否かを判定する（ステップＳＴ１２）。例えば、第３判定部３３は、第１判定部３１が撮像空間ＣＬに人が存在すると判定していた場合、その人の存在位置が左物体検出センサ２１Ｌの監視空間ＺＬ内、すなわち重複空間ＳＬ内であるか否かを判定する。

その人の存在位置が監視空間内であると判定した場合（ステップＳＴ１２のＹＥＳ）、第３判定部３３は、第２判定部３２で物体が存在すると判定したか否かを確認する（ステップＳＴ１３）。例えば、第３判定部３３は、第１判定部３１によって重複空間ＳＬ内に人が存在すると判定されていた場合には、第２判定部３２によって左物体検出センサ２１Ｌの監視空間ＺＬ内に物体が存在すると判定されたか否かを確認する。

第２判定部３２で物体が存在すると判定していた場合（ステップＳＴ１３のＹＥＳ）、第３判定部３３は、重複空間に人が存在するとの判定結果を出力する（ステップＳＴ１４）。例えば、第３判定部３３は、第２判定部３２によって監視空間ＺＬ内に物体が存在すると判定されたことを確認した場合に、重複空間ＳＬに人が存在することを伝える音声メッセージを車載スピーカ２２Ａから出力させ、且つ、重複空間ＳＬに人が存在することを伝えるテキストメッセージを車載ディスプレイ２２Ｖに表示させる。

この構成により、第３判定部３３は、重複空間に関しては、例えば、第１判定部３１で人が存在すると判定され且つ第２判定部３２で物体が存在すると判定された状態（第１状態）で人が存在すると判定する。そのため、第１判定部３１では人が存在すると判定されたが第２判定部３２では物体が存在しないと判定された状態（第２状態）、或いは、第１判定部３１では人が存在しないと判定されたが第２判定部３２では物体が存在すると判定された状態（第３状態）に比べ、信頼性の高い判定結果を出力できる。

画像センサ２０の出力に基づいて人の存否を判定する第１判定部３１は人の形状に似た地面の模様を人であると誤検知する場合があるが、物体検出センサ２１の出力に基づいて物体の存否を判定する第２判定部３２はこのような地面の模様を物体として誤検知することはないためである。また、第２判定部３２は人と人以外の物体とを区別せずにその存否を判定するが、第１判定部３１は、樹木、建物等の明らかに人とは見た目の異なる物体を人として誤検知することはないためである。

なお、第３判定部３３は、重複空間に関しては、判定結果の信頼度に応じて出力内容を段階的に変更してもよい。例えば、第３判定部３３は、重複空間に人が存在することを知らせる警告音を出力する場合、第１状態のときの警告音を第２状態又は第３状態のときの警告音より緊急性の高い警告音としてもよい。緊急性の高い警告音は、例えば、緊急性の低い警告音に比べ音量が大きく、周波数が高く、或いは、出力間隔が短い。この場合、第３判定部３３は、ステップＳＴ１１で撮像空間内に人が存在すると判定した場合に第２状態のときの警告音を出力し、その後にステップＳＴ１３で監視空間内に物体が存在すると判定した場合に第１状態のときの警告音を出力してもよい。視覚的な警告を出力する場合についても同様である。

また、第３判定部３３は、第１状態であっても人とショベルとの間の距離に応じて出力内容を段階的に変更してもよい。例えば、その距離が所定距離以上の場合には、その距離が所定距離未満の場合に比べ、緊急性の低い警告音を出力してもよい。

また、図６の処理は、第１判定部３１が人の存在位置を特定し、第２判定部３２が物体の存在位置を特定しない構成を前提とするが、第２判定部３２が物体の存在位置を特定する場合でも同様に実行される。その場合、第３判定部３３は、第２判定部３２で物体が存在すると判定したか否かを確認した後で、第１判定部３１で人が存在すると判定したか否かを確認してもよい。

次に、図７及び図８を参照し、人検知処理の別の一例について説明する。図７は人検知処理の別の一例のフローチャートであり、図８はその処理を実行するショベルの上面図である。なお、この例では、第２判定部３２は物体の存在位置を特定できるように構成される。そのため、例えば２次元走査式のレーザレーダセンサが物体検出センサ２１として採用される。

図７の処理は、ステップＳＴ２１及びステップＳＴ２２を有する点で図５の処理と異なる。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。

図５の人検知処理と同様、第３判定部３３は、第２判定部３２で物体が存在すると判定したか否かを確認する（ステップＳＴ１）。例えば、第３判定部３３は、図８に示すような左物体検出センサ２１Ｌの監視空間ＺＬ及び右物体検出センサ２１Ｒの監視空間ＺＲのうちの少なくとも１つで第２判定部３２によって物体が存在すると判定されたか否かを確認する。

第２判定部３２で物体が存在すると判定していた場合（ステップＳＴ１のＹＥＳ）、制御装置３０は、撮像空間内での物体の移動経路を予測する（ステップＳＴ２１）。例えば、制御装置３０は、物体検出センサ２１の過去の出力を用いて物体の移動経路を予測する。

例えば図８に示すように、制御装置３０は、時刻ｔ１において物体検出センサ２１が検出した物体の位置Ｐ１と、現在時刻ｔ２において物体検出センサ２１が検出した物体の位置Ｐ２とに基づいて物体のその後の移動経路ＴＲを予測する。

その後、制御装置３０は、予測した移動経路に基づいて部分空間を導き出す（ステップＳＴ１２）。部分空間は、物体検出センサ２１によって検出された物体が進入する可能性が高い撮像空間内の空間である。例えば図８に示すように、制御装置３０は、予測した移動経路ＴＲから所定距離範囲内の空間（斜線ハッチングで示す空間）を部分空間ＰＬとして導き出す。

その後、処理内容変更部３４は、部分空間に関する画像部分の第１判定部３１による抽出の優先順位を高くする（ステップＳＴ２）。

例えば図８に示すように、処理内容変更部３４は、左カメラ２０Ｌの撮像空間ＣＬ内における移動経路ＴＲが導き出された場合、部分空間ＰＬに関する画像部分の第１判定部３１による抽出の優先順位を高くする。

その結果、第１判定部３１は、撮像空間ＣＬ内の部分空間ＰＬ以外の空間に関する画像部分よりも優先的に部分空間ＰＬに関する画像部分を抽出して人の存否を判定する。監視空間ＺＬに存在する物体が部分空間ＰＬに進入する可能性が高いと考えられるためである。

一方、第２判定部３２で物体が存在しないと判定していた場合（ステップＳＴ１のＮＯ）、第３判定部３３は、抽出の優先順位を変更することなく、ステップＳＴ３に移行する。

この構成により、人検知システム５０は、監視空間ＺＬを通って撮像空間ＣＬに進入する物体に関する画像部分をより早期に抽出して撮像空間ＣＬ内の人の存否をより早期に判定できる。また、左物体検出センサ２１Ｌで検出された物体に関する画像部分に基づいて人の存否を判定するため、撮像画像のみから人の存否を判定する場合よりも正確に人の存否を判定できる。これは、誤検知の頻度を低減させる効果を有する。

また、移動経路ＴＲ内に人が存在すると第１判定部３１が判定した場合の判定結果の信頼性は、移動経路ＴＲ外に人が存在すると第１判定部３１が判定した場合の判定結果の信頼性よりも高い。移動経路ＴＲ内に存在する人は、左物体検出センサ２１Ｌによってもその存在が確認されているためである。

なお、処理内容変更部３４は、部分空間ＰＬに関する画像部分の第１判定部３１による判定基準を緩和してもよい。例えば、第１判定部３１が画像特徴量を用いて人画像であるか否かを判定する際に用いられる閾値を増減させてもよい。

次に、図９を参照し、物体検出センサ２１の別の配置例について説明する。図９はショベルの上面図であり、図４に対応する。

図９のショベルは、左後方物体検出センサ２１ＢＬ及び右後方物体検出センサ２１ＢＲを備える点で図４のショベルと異なる。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。

図９のハッチングが付された範囲は２つの撮像空間が重複する重複撮像空間を示す。具体的には、重複撮像空間ＣＢＬは撮像空間ＣＬと撮像空間ＣＢとが重複する重複撮像空間を示し、重複撮像空間ＣＢＲは撮像空間ＣＲと撮像空間ＣＢとが重複する重複撮像空間を示す。

左後方物体検出センサ２１ＢＬは、監視空間ＺＢＬ内の物体を検出できるように上部旋回体３の左側面の後端に取り付けられている。監視空間ＺＢＬは撮像空間ＣＬの端に配置されている。そのため、監視空間ＺＢＬは、重複撮像空間ＣＢＬの一部を含む。

右後方物体検出センサ２１ＢＲは、監視空間ＺＢＲ内の物体を検出できるように上部旋回体３の右側面の後端に取り付けられている。監視空間ＺＢＲは撮像空間ＣＲの端に配置されている。そのため、監視空間ＺＢＲは、重複撮像空間ＣＢＲの一部を含む。

この構成により、人検知システム５０は、例えば、撮像空間ＣＢから撮像空間ＣＬに移動する人を重複撮像空間ＣＢＬのところで一時的に見失ってしまうのを防止できる。重複撮像空間ＣＢＬに関する画像部分は、２つの撮像画像を合成する際の人画像の消失を防止するための画像処理が施されるため、非重複撮像空間に関する画像部分に比べ、画像処理によって合成出力画像から人の画像を見つけ出すことが困難である。これに対し、左後方物体検出センサ２１ＢＬがあれば、撮像空間ＣＢから撮像空間ＣＬに移動する人を画像処理以外の方法で検出できる。そのため、左後方物体検出センサ２１ＢＬで物体を検出した場合には、重複撮像空間ＣＢＬに関する画像部分については、第１判定部３１が人画像であると判定する際の判定基準を緩和させる等により第１判定部３１で人を検知し易くできる。その結果、誤検知の頻度を抑えることができる。この場合、図８を用いて説明した物体の移動経路を利用してもよい。

撮像空間ＣＬから撮像空間ＣＢに移動する人、撮像空間ＣＢから撮像空間ＣＲに移動する人、撮像空間ＣＲから撮像空間ＣＢに移動する人についても同様である。また、「１の撮像空間から別の撮像空間に移動する人」は、撮像空間が動いたために、見かけ上、１の撮像空間から別の撮像空間に移動した人（静止している人を含む。）を含む。

以上、本発明を実施するための形態について詳述したが、本発明は上述のような特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述の実施例では、画像センサ２０は、左カメラ２０Ｌ、バックカメラ２０Ｂ、及び右カメラ２０Ｒの３台で構成されるが、画像センサ２０は１つのカメラで構成されてもよい。物体検出センサ２１についても同様である。

また、上述の実施例では、撮像空間ＣＬと監視空間ＺＬとが重複するように配置されるが、重複しないように配置されてもよい。撮像空間ＣＲと監視空間ＺＲとの位置関係についても同様である。

１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・エンジン ２０・・・画像センサ ２０Ｂ・・・バックカメラ ２０Ｌ・・・左カメラ ２０Ｒ・・・右カメラ ２１・・・物体検出センサ ２１Ｂ、２１Ｂａ・・・後方物体検出センサ ２１ＢＬ・・・左後方物体検出センサ ２１ＢＲ・・・右後方物体検出センサ ２１Ｌ、２１Ｌａ・・・左物体検出センサ ２１Ｒ、２１Ｒａ・・・右物体検出センサ ２２・・・出力装置 ２２Ａ・・・車載スピーカ ２２Ｖ・・・車載ディスプレイ ３０・・・制御装置 ３１・・・第１判定部 ３２・・・第２判定部 ３３・・・第３判定部 ３４・・・処理内容変更部 ３５・・・画像生成部 ５０・・・人検知システム ＣＢ、ＣＬ、ＣＲ・・・撮像空間 ＤＬ、ＤＲ、ＰＬ・・・部分空間 ＳＢ、ＳＢａ、ＳＬ、ＳＬａ、ＳＲ、ＳＲａ・・・重複空間 ＺＢ、ＺＢａ、ＺＬ、ＺＬａ、ＺＲ、ＺＲａ・・・監視空間

Claims (12)

1. 下部走行体と、
   前記下部走行体に旋回可能に搭載される上部旋回体と、
   前記上部旋回体に取り付けられ且つショベル周辺の第１空間を撮像する画像センサと、
   前記上部旋回体に取り付けられ且つ前記第１空間の端にある第２空間における物体を検出する物体検出センサと、
   人の存否を判定する制御装置と、
   前記制御装置による判定結果を出力する出力装置と、
   を備えたショベル。
2. 前記第２空間は、前記第１空間の端を含む空間であり、該端の第１空間側の空間とその反対側の空間とを含む、
   請求項１に記載のショベル。
3. 前記制御装置は、前記画像センサの出力と前記物体検出センサの出力とに基づいて人の存否を判定する、
   請求項１又は２に記載のショベル。
4. 前記画像センサは複数のカメラで構成され、
   前記第２空間は、第１カメラの撮像空間と第２カメラの撮像空間とが重複する重複撮像空間の少なくとも一部を含む、
   請求項１乃至３の何れかに記載のショベル。
5. 前記出力装置は、各カメラが出力する撮像画像を合成し且つ視点変換処理を施して生成された出力画像を表示し、
   前記物体検出センサの監視空間は、前記重複撮像空間の少なくとも一部を含む、
   請求項４に記載のショベル。
6. 前記制御装置は、
   前記画像センサの出力に基づいて人の存否を判定する第１判定部と、
   前記物体検出センサの出力に基づいて物体の存否を判定する第２判定部と、を有し、
   前記第１判定部は、前記画像センサが撮像した撮像画像から画像部分を抽出し、画像部分毎に人の存否を判定し、
   前記制御装置は、前記第２判定部で物体が存在すると判定した場合、前記第１空間内の部分空間に関する画像部分の前記第１判定部による抽出の優先順位を高くする、
   請求項１乃至５の何れかに記載のショベル。
7. 前記制御装置は、
   前記画像センサの出力に基づいて人の存否を判定する第１判定部と、
   前記物体検出センサの出力に基づいて物体の存否を判定する第２判定部と、を有し、
   前記第１判定部は、前記画像センサが撮像した撮像画像から画像部分を抽出し、画像部分毎に人の存否を判定し、
   前記制御装置は、前記第２判定部で物体が存在すると判定した場合、前記第１空間内の部分空間に関する画像部分の前記第１判定部による判定基準を緩和する、
   請求項１乃至５の何れかに記載のショベル。
8. 下部走行体と、
   前記下部走行体に旋回可能に搭載される上部旋回体と、
   前記上部旋回体に取り付けられ且つショベル周辺の第１空間を撮像する画像センサと、
   前記上部旋回体に取り付けられ且つショベル周辺の第２空間における物体を検出する物体検出センサと、
   前記画像センサの出力と前記物体検出センサの出力とに基づいて人の存否を判定する制御装置と、
   前記制御装置による判定結果を出力する出力装置と、を備えたショベルであって、
   前記第１空間と前記第２空間とは重複空間を有し、
   前記制御装置は、
   前記画像センサの出力に基づいて人の存否を判定する第１判定部と、
   前記物体検出センサの出力に基づいて物体の存否を判定する第２判定部と、を有し、
   前記重複空間において前記第１判定部で人が存在すると判定し且つ前記第２判定部で物体が存在すると判定した場合に人が存在すると判定する、
   ショベル。
9. 前記第１判定部は、前記第１空間における人の存在位置を特定し、
   前記第２判定部は、前記第２空間における物体の位置を特定せず、
   前記制御装置は、
   前記存在位置が前記第２空間に含まれると判定し且つ前記第２判定部で物体が存在すると判定した場合、人が存在すると判定する、
   請求項８に記載のショベル。
10. 前記第１判定部は、前記画像センサが撮像した撮像画像から画像部分を抽出し、画像部分毎に人の存否を判定し、
    前記制御装置は、前記第２判定部で物体が存在すると判定した場合、前記第１空間内の部分空間に関する画像部分の前記第１判定部による抽出の優先順位を高くする、
    請求項８又は９に記載のショベル。
11. 前記第１判定部は、前記画像センサが撮像した撮像画像から画像部分を抽出し、画像部分毎に人の存否を判定し、
    前記制御装置は、前記第２判定部で物体が存在すると判定した場合、前記第１空間内の部分空間に関する画像部分の前記第１判定部による判定基準を緩和する、
    請求項８又は９に記載のショベル。
12. 前記制御装置は、前記物体検出センサの出力に基づいて前記第１空間内での物体の移動経路を予測し、
    前記移動経路内に人が存在すると前記第１判定部が判定した場合の判定結果の信頼性は、前記移動経路外に人が存在すると前記第１判定部が判定した場合の判定結果の信頼性よりも高い、
    請求項６乃至１１の何れかに記載のショベル。

Images