JP2023169512A - 監視システム、監視システムの制御方法およびプログラム - Google Patents

Abstract

【課題】傾斜地においても移動体の転倒危険度を高精度に判定できる監視システム、その制御方法及びプログラムを提供する。【解決手段】地面を移動するショベルの周辺を監視して、ショベル周辺の転倒危険度を操作者に報知する監視システム２００は、ショベルに搭載され、ショベルの周辺の地面を含む地物までの距離を計測するカメラで計測された距離情報と、ショベルの傾きを計測する傾斜センサ２８０で計測された傾斜情報に基づいて、ショベルが周辺に移動した場合の転倒危険度を判定する危険度判定部２４１ｂと、危険度判定部２４１ｂが判定した転倒危険度を示す画像を生成して出力する表示映像生成部２４１ｃと、を有する。【選択図】図２

Description

本発明は、移動体の周辺を監視する監視システム、監視システムの制御方法およびプログラムに関する。

車両に設置したカメラや距離センサを用いて車両周辺の障害物や地形の変化を捉え、車両の運転者に対して報知するシステムが知られている。特許文献１は、作業機械に備えられたステレオカメラから得られる距離画像において作業機械が位置する平面を基準として作業機械の周囲の地物を抽出し、撮影画像に地物の状況を重畳して表示する技術を開示している。また、特許文献２は、走行可能な建設機械に搭載された多眼カメラにて建設機械の周囲に位置する崖等の急激な地形変化をもつ危険領域を監視し、建設機械を危険領域に近接させない制御を行う技術を開示している。

特開２０１４－２２５８０３号公報 特開平１１－２２２８８２号公報

しかしながら、特許文献１の技術では、作業機械が位置する平面を基準とした地物が抽出されるため、作業機械が位置する面が水平でない場合には作業機械の周囲の地物を正確に抽出して操作者に伝えることが困難である。また、特許文献２の技術では、距離画像を基準座標に補正して重力方向を基準とした地形情報を取得することは可能であるものの、建設機械自体の傾きを考慮に入れて建設機械が地形変化をもつ領域に侵入した場合の転倒や転落の危険度を判断することができない。

本発明は、傾斜地においても移動体の転倒危険度を高精度に判定できる監視システムを提供することを目的とする。

上記課題を解決するために、本発明の監視システムは、地面を移動する移動体の周辺を監視して、該移動体の周辺の転倒危険度を操作者に報知する監視システムであって、前記移動体に搭載され、前記移動体の周辺の地面を含む地物までの距離を計測する距離センサで計測された距離情報と、前記移動体の傾きを計測する傾斜センサで計測された傾斜情報に基づいて、前記移動体が周辺に移動した場合の転倒危険度を判定する危険度判定手段と、前記危険度判定手段が判定した転倒危険度を示す画像を生成して出力する画像生成手段と、を有する。

本発明によれば、傾斜地においても移動体の転倒危険度を高精度に判定できる監視システムを提供することができる。

移動体とカメラの位置関係を説明する図である。 画像処理システムの構成を示す図である。 転倒危険度の判断処理のフローチャートである。 地形の凹凸情報を算出する処理を説明する図である。 アームの位置情報に応じた転倒危険度判定の閾値の変更について説明する図である。 転倒危険度を示す画像の一例を示す図である。 進行方向の転倒危険度を示す画像の一例を示す図である。

（第１実施形態）
図１は、移動体とカメラの位置関係を説明する図である。移動体は、地面を移動する乗用車やバス、作業機械等の車両やロボットである。作業機械は、例えば建設作業を行う建設機械など、作業を行う機械である。本実施形態では、移動体として走行可能な作業機械であるショベル１を例に説明する。ショベル１は、旋回部１ａおよびアーム１ｂを備える。ショベル１の操作者は、旋回部１ａを任意の方向に旋回させ、その後、アーム１ｂを操作することにより、ショベル１の周辺の地面等を掘削することができる。なお、ショベル１の操作者はショベル１に搭乗していてもよいし、搭乗せずに遠隔操作を行っていてもよい。

ショベル１には移動体周辺を監視する監視システムで利用される距離情報を取得するための距離センサが搭載されている。距離センサは、ショベル１の周辺の地面、建物などの構造物、障害物、自然物などを含む地物までの距離を計測するための装置である。本実施形態では、ショベル１に距離センサとしてカメラ１１～１４の４つのカメラが設置されている例について説明する。カメラ１１はショベル１の前方を撮像範囲とするように、ショベル１の前方（図１の紙面上側）に設置されている。カメラ１２はショベル１の右側を撮像範囲とするように、ショベル１の右側方に設置されている。カメラ１３はショベル１の後方を撮像範囲とするように、ショベル１の後方に設置されている。カメラ１４はショベル１の左側を撮像範囲とするように、ショベル１の左側方に設置されている。なお、本実施形態では、ショベル１に４つのカメラが取り付けられている例について説明するが、カメラの数は４つに限定されず、カメラは移動体に少なくとも１つ以上設置されていればよい。

カメラ１１～１４はそれぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する撮像光学系とを有する。カメラ１１～１４が有する撮像光学系は、例えば、ショベルの周辺を広く撮影することが可能な魚眼レンズや広角レンズを備える。カメラ１１～１４は、カメラ１１～１４の撮影範囲にショベル１近辺の地面が含まれるようにショベル１に設置される。そのため、カメラ１１～１４は、ショベル１が水平面にある場合において、カメラ１１～１４の撮像光学系の光軸が水平よりも下方を向くようにショベル１に設置される。

次に、本実施形態における移動体周辺を監視する監視システムの構成について図２を用いて説明する。図２は、監視システムの構成を示す図である。監視システムは距離センサであるカメラ１１から取得した距離情報である画像と、移動体の傾斜情報とに基づいて、移動体が現在位置から周辺に移動した場合の転倒／転落の危険を監視する。監視システム２００は、ショベル１に搭載されていてもよいし、ショベル１の操作者が操作するＰＣやタブレッット端末などの情報処理装置に搭載されていてもよい。また、監視システム２００はクラウド上で実現され、結果の画像のみショベル１の操作者に報知されてもよい。監視システム２００は、複数のカメラ１１～１４、統合処理部２４０、傾斜センサ２８０、アーム位置情報取得部２９０、表示部２５０、走行制御部２６０、外部通信部２７０を有する。

カメラ１１～１４はそれぞれ、撮像部２２１～２２４およびカメラ処理部２３１～２３４を有する。まず撮像部２２１～２２４について説明する。なお、撮像部２２１～２２４は同様の構成を有するため、ここでは撮像部２２１についてのみ説明する。撮像部２２１は、レンズ２２１ａおよび撮像素子２２１ｂを有する。レンズ２２１ａはカメラ１１の撮像光学系に含まれ、撮像素子２２１ｂの受光面に光学像を結像する。レンズ２２１ａは、例えば１枚以上の光学レンズである。

撮像素子２２１ｂは、光電変換部（受光素子）を有し、光学像に応じた信号（アナログ信号）を出力する。撮像素子２２１ｂは、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどである。撮像素子２２１ｂは、いわゆる撮像面位相差による測距が可能である。撮像素子２２１ｂは、１つの画素に対して複数の受光素子を有し、少なくとも一対の光学像を光電変換して、視点の異なる少なくとも一対の像信号を生成する。本実施形態では、撮像面上の全ての画素がそれぞれ一対の受光素子を有する例について説明するが、一対の受光素子を有する画素は一部の画素であってもよいし、１つの画素に含まれる受光素子は例えば２つ以上であってもよい。撮像素子２２１ｂは、一対の受光素子により撮像光学系の互いに異なる瞳領域を通過した光束に対応する一対の像信号を生成する。また、撮像素子２２１ｂの受光面には、例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの色フィルタの配列は、例えばベイヤー配列である。したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からは（Ｒ，Ｇ，Ｒ，Ｇ）の信号が順次出力され、隣の行からは（Ｇ，Ｂ，Ｇ，Ｂ）の信号が順次出力される。

次に、カメラ処理部２３１～２３４について説明する。なお、カメラ処理部２３１～２３４は同様の構成を有するため、ここではカメラ処理部２３１についてのみ説明する。カメラ処理部２３１は、撮像部２２１から出力された像信号を処理する。カメラ処理部２３１は、現像部２３１ａおよび距離情報生成部２３１ｂを有する。現像部２３１ａは、撮像部２２１から出力された像信号に対して現像処理を行う。具体的には、現像部２３１ａは、撮像部２２１から受信した視点の異なる一対の撮像信号それぞれを画素ごとに加算して合成し、１枚の合成画像信号を生成する。さらに現像部２３１ａは、生成した合成画像信号に対してデベイヤ処理（デモザイク処理）ＲＧＢのラスタ形式の画像へ変換する。さらに現像部２３１ａは画像に対し、画像補正処理を行う。画像補正処理は例えば、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理などである。以下では、現像部２３１ａによって現像された画像信号を現像済画像と呼ぶ。

距離情報生成部２３１ｂは、撮像素子２２１ｂから受信した視点の異なる一対の像信号に基づいて、距離情報を生成する。距離情報生成部２３１ｂは、例えば公知の測距手法を利用して、一対の像信号の相対的な位置ずれ量（視差量）から、距離情報として画素ごとの距離値を表す距離画像を算出する。このように、カメラ１１～１４は、瞳分割型撮像素子を用いた撮像面位相差検出方法によって、視点の異なる複数の画像データから距離情報（深度情報）を取得することができる。なお、例えばカメラ処理部２３１の動作を撮像素子２２１ｂに積層された処理部で行うなど、カメラ処理部２３１と撮像部２２１とが一体的に構成されていてもよい。

統合処理部２４０は、例えば１つ以上のプロセッサによって構成され、メモリ２４４に記憶されている制御プログラムを実行することにより、監視システム２００全体を制御する。統合処理部２４０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２４１、ＣＰＵ２４３、バッファメモリ２４２、記憶媒体としてのメモリ２４４を有する。本実施形態では、一部の処理をＦＰＧＡ２４１等によって実現し、他の処理をＣＰＵ２４３等で実現するなど、複数のプロセッサ等の組み合わせによって監視システム２００の処理を実行する例について説明するが、これに限られるものではない。例えば、ＦＰＧＡ２４１およびＣＰＵ２４３は、ＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）に集積化してもよい。なお、本実施形態における統合処理部２４０は、カメラ１１～１４とは別の筐体に収納されている。

ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２４１は、所定の処理を実行するようにプログラムされた処理回路である。所定のコンパイラ及び所定の処理に対応するプログラムを用いてＦＰＧＡ２４１上に専用の処理回路を自動的に生成して実行する。ＦＰＧＡ２４１は、カメラ処理部２３１～４１から出力される現像済画像および距離画像を受け取る手段である画像取得部２４１ａ、危険度判定部２４１ｂ、表示映像生成部２４１ｃを有する。

画像取得部２４１ａは、カメラ処理部２３１～２３４からそれぞれの現像済画像および距離情報（距離画像）を取得する。そして画像取得部２４１ａは、取得した現像済画像および距離情報を危険度判定部２４１ｂに出力する。また画像取得部２４１ａは、取得した現像済画像および距離情報をバッファメモリ２４２に格納する。危険度判定部２４１ｂは、距離情報および傾斜せんさ２８０から取得した傾斜情報に基づいて、ショベル１がカメラ１１～１４が撮影した領域に侵入した際の転倒危険度を判断する。さらに、危険度判定部２４１ｂは、算出した転倒危険度に応じた転倒危険度マップを生成し、表示映像生成部２４１ｃに出力する。転倒危険度を判定する処理の詳細は後述する。表示映像生成部２４１ｃは、バッファメモリ２４２に格納された現像済画像および危険度判定部２４１ｂが生成した転倒危険度マップを取得して、危険度を示す危険度表示画像（以下、表示画像と記す）を生成する。表示画像は、仮想視点の画像（映像）である。表示映像生成部２４１ｃは生成した表示画像を、表示部２５０に表示する。また、表示映像生成部２４１ｃは生成した表示画像を、外部通信部２７０を介してショベル１の外部に送信する。

ＣＰＵ２４３はメモリ２４４に記憶されたコンピュータプログラムを実行することによって、統合処理部２４０を構成する各部の制御を行う。バッファメモリ２４２は、ＦＰＧＡ２４１およびＣＰＵ２４３のワークエリアとして利用されるメモリである。メモリ２４４は、監視システム２００の制御プログラムや演算データを格納する。ＦＰＧＡ２４１およびＣＰＵ２４３は、メモリ２４４に格納されているプログラムに従い処理を実行することで、監視システム２００全体を制御する。

表示部２５０は、表示映像生成部２４１ｃから受信した表示画像をショベル１の操作者向けに表示する。表示部２５０は、例えば液晶ディスプレイである。表示部２５０は、ショベル１の操作者が操作中に見やすい位置、例えばショベル１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。走行制御部（ＥＣＵ）６０は、ショベル１の駆動制御や方向制御などを総合的に行う。走行制御部２６０は、コンピュータやメモリを内蔵している。また走行制御部２６０は、ショベル１を制御するための信号である車両制御信号を統合処理部２４０に出力できる。走行制御部２６０が出力する車両制御信号には、例えば、走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが含まれる。

外部通信部２７０は、表示映像生成部２４１ｃから受信した危険度を示す表示画像をショベル１の外部に送信する。外部通信部２７０は、例えば無線通信により外部と通信可能である。外部通信部２７０が危険度を示す表示画像を送信する先は、例えば、ショベル１の遠隔操縦室である。遠隔操縦室にいる操作者は、ショベル１から送られた仮想視点の表示画像を視聴しながらショベル１の遠隔操縦を行うことができる。遠隔操縦室にいる操作者による遠隔操縦の指示（遠隔操縦情報）は、無線通信を介してショベル１に送られ、統合処理部２４０で処理され、必要に応じて走行制御部２６０に送られる。傾斜せんさ２８０は、水平面を基準としたショベル１の傾斜を計測し、傾斜情報を取得する。アーム位置情報取得部２９０は、アーム１ｂの位置、伸縮状態などの動作状況を取得する。

図３を用いて、危険度判定部２４１ｂによる転倒危険度の判断処理について説明する。図３は、転倒危険度の判断処理を示すフローチャートである。図３に示される各処理は、統合処理部２４０においてメモリ２４４に格納されたプログラムを用いて生成された専用回路であるＦＰＧＡ２４１により実行される。なお、一部の処理をＦＰＧＡ２４０によって実行し、他の処理をＣＰＵ２４３で実行するなど、複数のプロセッサ等の組み合わせによって図３に示される各処理を実現してもよい。転倒危険度の判断処理は、ショベル１が走行を始めるタイミングで開始され、カメラ１１～１４の撮像周期のＮ倍（Ｎは１以上の整数）の周期で繰り返し実行される。また、転倒危険度の判断処理は、ショベル１が停止した際に終了する。

Ｓ３０１で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、画像取得部２４１ａを介して、ショベル１に搭載されたカメラ１１～１４それぞれから距離画像（距離情報）を取得する。Ｓ３０２で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、取得した距離画像に基づいて、ショベル１の接地面４００を基準とした地形の凹凸情報を算出する。本実施形態において、地形の凹凸情報は、距離画像の全画素に対するショベル１の接地面４００を基準にした深さを示す情報である。

ここで、地形の凹凸情報を算出処理について図４（Ａ）を用いて説明する。図４は、地形の凹凸情報を算出する処理を説明する図である。なお、図４（Ａ）では、ショベル１の接地面４００が水平面と平行である。図４（Ｂ）では、ショベル１の接地面４００が水平面に対して角度Ψだけ傾斜し、傾斜部４１０が図４（Ａ）の傾斜部４１０と比較して角度Ψだけ傾斜している。面４２０は、接地面４００に平行な面である。ショベル１の接地面４００平行な面４２０と傾斜部４１０がなす角度θは、図４（Ａ）と図４（Ｂ）で同じである。

図４（Ａ）において、ショベル１の接地面４００を基準にした地面の点Ｐの深さを算出する場合を例に説明する。距離値Ｄｐは、カメラ１１から地面の点Ｐの距離である。距離値Ｄｐは、Ｓ３０１にて取得した距離画像に含まれている。点Ｐｓはショベル１の接地面４００の延長線とカメラ１１と点Ｐからなる線の交点である。角度φは、接地面４００の延長線と、カメラ１１と地面の点Ｐを結ぶ線とがなす角であり、カメラ１１をショベル１に設置した際の設置位置と向きによって決まる。距離Ｄｐｓは、カメラ１１から点Ｐｓまでの距離である。距離Ｄｐｓは、角度φから一意に求められる。このとき、ショベル１の接地面４００から見た点Ｐの深さに当たる距離Ｄｄは、下記の式（１）によって求められる。
Ｄｄ＝（Ｄｐ―Ｄｐｓ）＊ｓｉｎ（φ）・・・（１）
危険度判定部２４１ｂは、式（１）を用いて、距離画像の全画素に対してショベル１の接地面４００から見た深さを算出する。

Ｓ３０３で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、地形の凹凸情報から地形の勾配情報を算出する。地形の勾配情報とは、ショベル１の接地面４００を基準とした傾斜部４１０の相対的な傾斜角である。例えば図４（Ａ）では、地形の勾配情報は地面の傾斜部４１０における角度θに相当する情報である。勾配情報は、Ｓ３０２にて算出した地形の凹凸情報に基づいた幾何計算により容易に算出することができる。なお、地形の凹凸情報および勾配情報の算出方法はこれに限るものではない。例えば、距離画像に基づいて公知の３Ｄモデル生成技術を利用してショベル１の周辺の３Ｄモデルを作成し、その後、３Ｄモデルにおけるショベル１の接地面を基準とした勾配情報を取得する方法を用いてもよい。

Ｓ３０４で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、ショベル１に備えられた傾斜せんさ２８０から、ショベル１の傾斜情報を取得する。傾斜情報は、水平面に対するショベル１の接地面４００の傾斜情報として扱うことができる。例えば、図４（Ａ）では、接地面４００は水平であり、水平面に対する接地面４００の角度が０のため、傾斜情報は水平面に対して傾斜が０となる。また、図４（Ｂ）では、接地面４００は水平面に対して角度Ψだけ傾斜しているとの傾斜情報が得られる。

Ｓ３０５で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、Ｓ３０３で算出したショベル１の接地面４００を基準とした地形の勾配情報を、Ｓ３０４で取得した傾斜情報を用いて、水平面を基準とした地形の勾配情報に補正する。図４（Ａ）では、Ｓ３０３で算出したショベル１の接地面４００を基準とした地形の勾配情報が角度θ、傾斜情報が０のため、水平面を基準とした地形の勾配情報は角度θと算出される。一方、図４（Ｂ）では、Ｓ３０３で算出したショベル１の接地面４００を基準とした地形の勾配情報がθ、傾斜情報が角度Ψのため、水平面を基準とした地形の勾配情報は角度θ＋Ψと算出される。

Ｓ３０６で、ＦＰＧＡ２４１の危険度判定部２４１ｂは、Ｓ３０５で算出した水平面基準の地形の勾配情報に基づいて、ショベル１がカメラ１１～１４の撮像画角中の各領域に侵入した際の転倒危険度を判断し、転倒危険度マップを生成する。危険度判定部２４１ｂは、水平面基準の地形の勾配情報と予め定められた閾値との比較に基づいて転倒危険度を判定する。例えば、転倒危険度大と判断する閾値をＴＨ１、転倒危険度中と判断する閾値をＴＨ２と定義する。閾値ＴＨ２は閾値ＴＨ１より小さい角度である。このとき、危険度判定部２４１ｂは、面の勾配情報がＴＨ２より小さければ転倒危険度が小、大きければ転倒危険度が中であり、さらに面の勾配情報がＴＨ１より大きければ転倒危険度が大であると判断する。

例えば、閾値ＴＨ１および閾値ＴＨ２が、閾値ＴＨ２＜θ＋Ψ＜閾値ＴＨ１となる値であるとする。危険度判定部２４１ｂは、図４（Ｂ）の状態において、ショベル１が傾斜部４１０に侵入した際の転倒危険度を、傾斜部４１０の水平面基準の勾配情報θ＋Ψと閾値ＴＨ１およびＴＨ２を比較して、転倒危険度中であると判断する。さらに、閾値ＴＨ２が、Ψ＜ＴＨ２であるとする。危険度判定部２４１ｂは、図４（Ｂ）の状態において、ショベル１が接地面４００上の別の領域に移動した際の転倒危険度を、接地面４００の水平面基準の勾配情報Ψと閾値ＴＨ２を比較して、転倒危険度小であると判断する。

なお、危険度判定部２４１ｂは、閾値ＴＨ１および閾値ＴＨ２をショベル１の動作状況に応じて変更してもよい。例えば、危険度判定部２４１ｂは、アーム位置情報取得部２９０から出力されるアーム１ｂの位置情報に応じて閾値（閾値ＴＨ１および閾値ＴＨ２）を変更する。アーム１ｂの位置情報に応じた転倒危険度判定の閾値の変更について、図５（Ａ）および図５（Ｂ）を用いて説明する。

図５は、アームの位置情報に応じた転倒危険度判定の閾値の変更について説明する図である。図５（Ａ）は、アーム１ｂが図４（Ｂ）よりも前方（旋回部１ａからより遠い方）に位置している状態を示した図である。このとき、図５（Ａ）に示されるショベル１の重心は図４（Ｂ）の状態よりも図中の左側、すなわち下り斜面である傾斜部４１０側にある。そのため、図５（Ａ）の状態で傾斜部４１０に進入した場合のショベル１の転倒可能性は、図４（Ｂ）の状態で傾斜部４１０に進入した場合のショベル１の転倒可能性よりも高くなる。そこで、危険度判定部２４１ｂは、図５（Ａ）の状態でショベル１が傾斜部４１０側に移動した際の転倒可能性を、図４（Ｂ）の状態での状態でショベル１が傾斜部４１０側に移動した際の転倒可能性よりも高く判定できるように閾値を設定する。すなわち、危険度判定部２４１ｂは、図５（Ａ）の状態での転倒危険度判定の閾値を、図４（Ｂ）の状態での転倒危険度判定の閾値よりも小さくする。

図５（Ｂ）は、ショベル１の旋回部１ａが図４（Ｂ）の状態から１８０°回転し、更にアーム１ｂが旋回部１ａに近づいている状態を示している。このとき、図５（Ｂ）に示されるショベル１の重心は、図４（Ｂ）の状態よりも図中の右側寄り、すなわち下り斜面である傾斜部４１０の反対側となる。そのため、図５（Ｂ）の状態で傾斜部４１０に進入した場合のショベル１の転倒可能性は、図４（Ｂ）の状態で傾斜部４１０に進入した場合のショベル１の転倒可能性よりも低くなる。そこで、危険度判定部２４１ｂは、図５（Ｂ）の状態でショベル１が傾斜部４１０側に移動した際の転倒可能性を、図４（Ｂ）の状態での状態でショベル１が傾斜部４１０側に移動した際の転倒可能性よりも低く判定できるように閾値を設定する。すなわち、危険度判定部２４１ｂは、図５（Ｂ）の状態での転倒危険度判定の閾値を、図４（Ｂ）の状態での転倒危険度判定の閾値よりも高くする。このように、危険度判定部２４１ｂは、アーム１ｂの位置に基づくショベル１の重心の位置に応じて、転倒危険度判定の閾値を変更し、ショベル１の重心の位置に応じた転倒危険度の判定を行うことができる。

なお、本実施形態では、アーム１ｂの位置に応じて転倒危険度判定の閾値を変更する例について説明したが、これに限られるものではない。アーム１ｂの位置の他、バケットに積載されている物の有無やその重量など、ショベル１の重心を変更させる動作状況に応じて転倒危険度判定の閾値を変更するようにしてもよい。また、転倒危険度判定の閾値を変更するのではなく、閾値と比較するために算出した水平面基準の地形の勾配情報をアーム１ｂの位置などに基づくショベル１の重心に応じて補正するようにしてもよい。以上が、危険度判定部２４１ｂによる転倒危険度の判定処理の説明である。危険度判定部２４１ｂは、ここまで説明してきた転倒危険度の判定処理を距離画像の全画素に対して実施する。そして、全画素における転倒危険度の判定結果を統合した転倒危険度マップを生成し、バッファメモリ２４２に格納する。

Ｓ３０７で、表示映像生成部２４１ｃは、転倒危険度を示す画像を生成する。表示映像生成部２４１ｃは、Ｓ３０６で生成した転倒危険度マップとカメラ１１～１４から取得した画像に基づいて、少なくともショベル１の進行方向を含むショベル１周辺の領域の転倒危険度を操作者に報知するための画像を生成する。図６を用いて、表示映像生成部２４１ｃの表示画像生成処理の一例について説明する。

図６は、転倒危険度を示す画像の一例を示す図である。転倒危険度を示す画像は、例えば、ショベル１を中心としたショベル１の周囲を示す俯瞰画像に転倒・転落の危険度が重畳表示された画像である。俯瞰画像は、カメラ１１～１４から取得した画像を視点変換した仮想視点画像（仮想視点映像）である。まず、表示映像生成部２４１ｃは、カメラ１１～１４から取得した現像後の画像を、仮想視点からショベル１の周囲を見た仮想視点画像に変換する。仮想視点とは、例えばショベル１の真上方向もしくはショベル１の斜め後ろから前方を見下ろすような視点を意味する。仮想視点画像は、公知の手法を用いて生成してよく、例えば、球体などの任意の投影面に現像後の画像を投影し、その球体を仮想視点から見るようにレンダリング処理をして生成する。ここでは、表示映像生成部２４１ｃは、カメラ１１～１４にそれぞれ対応した現像後の画像を合成し、図６の仮想視点画像６００に示すように、ショベル１の真上の視点から地面方向を見た仮想視点画像を生成したとして説明を行う。なお、図６に示される点線は、カメラ１１～１４の現像後画像の合成境界を便宜的に示しているものであり、仮想視点画像に含まれる必要はない。

次に、表示映像生成部２４１ｃは、仮想視点画像に危険度判定部２４１ｂが生成した転倒危険度マップに基づいて転倒危険度を示す情報を重畳して、表示画像を生成する。そして表示映像生成部２４１ｃは、生成した表示画像を表示部２５０または外部通信部２７０に出力する。領域６１０および領域６２０とマーク６３０は、ショベル１が転倒する危険性を操縦士に警告するための転倒危険度を示す情報である。領域６１０は、危険度判定部２４１ｂにより転倒危険度が高いと判断された領域を示している。領域６１０は、例えば赤色で示される。領域６１０は、図４（Ｂ）での傾斜部４１０に対応した領域である。領域６１０が示す傾斜部４１０は、ショベル１内の操縦士からは見えていない斜面である。領域６２０は、危険度判定部２４１ｂにより転倒危険度が中程度と判断された領域を示している。領域６２０は、例えば黄色で示される。領域６２０は、図４（Ｂ）での接地面４００と傾斜部４１０の境界に対応する領域である。マーク６３０は、転倒危険度の高い領域６１０を強調するためのマークである。また、危険度判定部２４１ｂにより転倒危険度が低いと判断された領域には転倒危険度を示す情報は重畳表示されない。

二色で転倒危険度を示す形態について説明したが、転倒危険度を画像に表示する形態はこれに限られるものではない。例えば、グラデーションによる色の変化で転倒危険度を段階的に表現するものであってもよいし、点滅表示などを組み合わせてもよい。また、表示映像生成部２４１ｃは、転倒危険度を示す情報を常に仮想視点画像６００に重畳する必要はなく、例えば所定時間ごとに重畳と非重畳を繰り返してもよい。また、表示映像生成部２４１ｃは、ショベル１を仮想視点から見たＣＧ画像６４０を仮想視点画像６００に重畳してもよい。

また、仮想視点画像６００の生成について、球体などの任意の投影面に現像後の画像を投影し、その球体を仮想視点から見るようにレンダリング処理を行う例について説明したが、これに限られるものではない。現像後の画像を投影する投影面は、危険度判定部２４１ｂが、Ｓ３０３で説明した手順にて距離画像をもとに生成した３Ｄモデルであってもよい。ショベル１の周辺の距離画像をもとに作られた投影面を利用すると、球体等の任意の投影面を使用して作成された仮想視点画像に比べて、地面やショベル１の周辺に存在する立体物の歪みを軽減することができる。そのため、ショベル１の操作者は、転倒危険度の高い領域をより正確に判断することが可能となる。

また、俯瞰画像である仮想視点画像６００に転倒危険度を示す情報を重畳表示する例について説明したが、これに限られるものではない。例えば、カメラ１１～１４から取得した画像を横一列や２×２の田の字状に並べ、各画像において対応する領域に転倒危険度を表す情報を重畳してもよい。

Ｓ３０８で、表示映像生成部２４１ｃは、Ｓ３０７で生成した表示画像を表示部２５０または外部通信部２７０に送信する。例えば、表示映像生成部２４１ｃは、ショベル１に搭乗している操作者がショベル１を操縦している場合には、表示部２５０のみに表示画像を出力する。一方、ショベル１が遠隔操作されている場合には、表示映像生成部２４１ｃは、外部通信部２７０に表示画像を出力する。なお、ショベル１に搭乗している操作者がショベル１を操縦している場合であっても、現場監督者が確認できるよう表示部２５０に加えて外部通信部２７０に表示画像を出力するようにしてもよい。表示画像は出力された先で表示され、ショベル１の操作者は表示画像を確認しながら操縦することができる。

なお、本実施形態では、危険度判定部２４１ｂで全画素の危険度を判定して、表示映像生成部２４１ｃが転倒危険度を示すショベル１を中心とした全方位の表示画像の生成を説明したが、進行方向のみを対象とするようにしてもよい。まず、危険度判定部２４１ｂは、走行制御部２６０からショベル１の走行方向の情報を取得する。次に、危険度判定部２４１ｂは、例えば、ショベル１が前進中である情報を取得した場合においては、ショベル１の進行方向（前方）のみの転倒危険度マップを作成する。そして表示映像生成部２４１ｃは、図７に示すように、ショベル１の進行方向（前方）における転倒危険度が示された画像７０１を生成する。図７は、進行方向の転倒危険度を示す画像の一例を示す図である。表示映像生成部２４１ｃは進行方向の転倒危険度を示す画像を表示部２５０または外部通信部２７０に出力する。進行方向の転倒危険度を示す画像を確認することにより、ショベル１の運転手は、進行方向における転倒危険度を把握することが容易になる。また、図６に示される仮想視点画像で転倒危険度を示す場合においても、走行制御部２６０から取得したショベル１の進行方向の情報に基づいて、ショベル１の進行方向の転倒危険度を他の方向の転倒危険度よりも彩度が高い色で強調表示するようにしてもよい。

また、本実施形態においては、像面位相差方式の撮像素子２２１ｂ～２２４ｂから出力される視差の異なる一対の像信号を利用して距離画像を生成し、ショベル１の周辺の地形を把握する例について説明してきたが、これに限るものではない。例えば距離センサとしてステレオカメラを用いてショベル１の周囲の距離情報を取得してもよい。また、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などの距離センサの出力情報からショベル１の周囲の距離情報を取得してもよい。距離を計測する距離センサからショベル１の周囲の距離情報を取得する場合、カメラ１１～１４は必要ではない。カメラ１１～１４がない場合でも表示映像生成部２４１ｃは、距離センサから得られる距離情報を色ごとに距離を表すいわゆる点群画像に変換して画像化し、この点群画像に転倒危険度を表す情報を重畳して表示画像を生成することが可能である。

また、本実施形態では、移動体の一例としてショベルを用いて説明してきたがこれに限るものではない。例えば、ブルドーザ、クレーン等の他の工作用機器であってもよく、乗用車やトラックであってよい。本実施形態は特に、アームのある機器など重心が偏っている車両に好適である。

以上のように、本実施形態によれば、傾斜地における移動体自体の傾きを考慮して、移動体の転倒危険度を判定することができる。そのため、傾斜地においても移動体の転倒危険度を高精度に判定できる監視システムを提供することが可能である。

本実施形態の開示は、以下の情報処理装置の構成を含む。
（構成１）地面を移動する移動体の周辺を監視して、該移動体の周辺の転倒危険度を操作者に報知する監視システムであって、前記移動体に搭載され、前記移動体の周辺の地面を含む地物までの距離を計測する距離センサで計測された距離情報と、前記移動体の傾きを計測する傾斜センサで計測された傾斜情報に基づいて、前記移動体が周辺に移動した場合の転倒危険度を判定する危険度判定手段と、前記危険度判定手段が判定した転倒危険度を示す画像を生成して出力する画像生成手段と、を有することを特徴とする監視システム。
（構成２）前記危険度判定手段は、前記距離情報から前記移動体の接地面を基準とした地面の相対的な傾斜角を算出して前記傾斜情報に基づいて補正することで水平面基準の地形の勾配情報を算出し、前記勾配情報を閾値と比較して前記転倒危険度を判定することを特徴とする構成１に記載の監視システム。
（構成３）前記危険度判定手段は、前記距離情報および前記傾斜情報と、さらに、前記移動体の動作状況に応じた前記移動体の重心とに基づいて前記転倒危険度を判定することを特徴とする構成１または構成２に記載の監視システム。
（構成４）前記画像生成手段は、前記距離情報を画像化した画像に対して、前記危険度判定手段が判定した転倒危険度を示す情報を重畳した画像を生成することを特徴とする構成１乃至３のいずれかに記載の監視システム。
（構成５）前記移動体に搭載され、前記移動体の周辺を撮影する撮像装置をさらに有し、前記画像生成手段は、前記撮像装置が撮像した画像または該画像を視点変換した仮想視点画像に対して、前記危険度判定手段が判定した転倒危険度を示す情報を重畳した画像を生成することを特徴とする構成１乃至３のいずれかに記載の監視システム。
（構成６）前記仮想視点画像は、前記移動体と前記移動体の周辺を俯瞰した俯瞰画像であることを特徴とする構成５に記載の監視システム。
（構成７）前記撮像装置は、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光して複数の画像を出力する撮像素子を有し、前記距離情報は、前記撮像素子で撮像された前記複数の画像から取得されることを特徴とする構成５または６に記載の監視システム。
（構成８）前記撮像装置はステレオカメラであり、前記距離情報は、前記ステレオカメラで撮像された画像から取得されることを特徴とする構成５または６に記載の監視システム。
（構成９）前記画像生成手段は、前記移動体の進行方向に応じた前記転倒危険度を示す画像を生成することを特徴とする構成１乃至８のいずれかに記載の監視システム。
（構成１０） 前記画像生成手段は、生成した前記転倒危険度を示す画像を、前記移動体に設けられた表示装置または外部装置に出力することを特徴とする構成１乃至９のいずれかに記載の監視システム。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１ ショベル
１１ カメラ
２４０ 統合処理部
２４１ａ 画像取得部
２４１ｂ 危険度判定部
２４１ｃ 表示映像生成部
２５０ 表示部
２８０ 傾斜センサ
２００ 監視システム

上記課題を解決するために、本発明の監視システムは、地面を移動する移動体の周辺を監視して、該移動体の周辺の転倒危険度を操作者に報知する監視システムであって、前記移動体に搭載され、前記移動体の周辺の地面を含む地物までの距離を計測する第一のセンサで計測された距離情報と、前記移動体の傾きを計測する第二のセンサで計測された傾斜情報に基づいて、前記移動体が周辺に移動した場合の転倒危険度を判定する危険度判定手段と、前記危険度判定手段が判定した転倒危険度を示す画像を生成して出力する画像生成手段と、を有する。

Claims (12)

1. 地面を移動する移動体の周辺を監視して、該移動体の周辺の転倒危険度を操作者に報知する監視システムであって、
   前記移動体に搭載され、前記移動体の周辺の地面を含む地物までの距離を計測する距離センサで計測された距離情報と、前記移動体の傾きを計測する傾斜センサで計測された傾斜情報に基づいて、前記移動体が周辺に移動した場合の転倒危険度を判定する危険度判定手段と、
   前記危険度判定手段が判定した転倒危険度を示す画像を生成して出力する画像生成手段と、を有することを特徴とする監視システム。
2. 前記危険度判定手段は、前記距離情報から前記移動体の接地面を基準とした地面の相対的な傾斜角を算出して前記傾斜情報に基づいて補正することで水平面基準の地形の勾配情報を算出し、前記勾配情報を閾値と比較して前記転倒危険度を判定することを特徴とする請求項１に記載の監視システム。
3. 前記危険度判定手段は、前記距離情報および前記傾斜情報と、さらに、前記移動体の動作状況に応じた前記移動体の重心とに基づいて前記転倒危険度を判定することを特徴とする請求項１に記載の監視システム。
4. 前記画像生成手段は、前記距離情報を画像化した画像に対して、前記危険度判定手段が判定した転倒危険度を示す情報を重畳した画像を生成することを特徴とする請求項１に記載の監視システム。
5. 前記移動体に搭載され、前記移動体の周辺を撮影する撮像装置をさらに有し、
   前記画像生成手段は、前記撮像装置が撮像した画像または該画像を視点変換した仮想視点画像に対して、前記危険度判定手段が判定した転倒危険度を示す情報を重畳した画像を生成することを特徴とする請求項１に記載の監視システム。
6. 前記仮想視点画像は、前記移動体と前記移動体の周辺を俯瞰した俯瞰画像であることを特徴とする請求項５に記載の監視システム。
7. 前記撮像装置は、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光して複数の画像を出力する撮像素子を有し、
   前記距離情報は、前記撮像素子で撮像された前記複数の画像から取得されることを特徴とする請求項５に記載の監視システム。
8. 前記撮像装置はステレオカメラであり、
   前記距離情報は、前記ステレオカメラで撮像された画像から取得されることを特徴とする請求項５に記載の監視システム。
9. 前記画像生成手段は、前記移動体の進行方向に応じた前記転倒危険度を示す画像を生成することを特徴とする請求項１に記載の監視システム。
10. 前記画像生成手段は、生成した前記転倒危険度を示す画像を、前記移動体に設けられた表示装置または外部装置に出力することを特徴とする請求項１に記載の監視システム。
11. 地面を移動する移動体の周辺を監視して、該移動体の周辺の転倒危険度を操作者に報知する監視システムの制御方法であって、
    前記移動体に搭載され、前記移動体の周辺の地面を含む地物までの距離を計測する距離センサで計測された距離情報と、前記移動体の傾きを計測する傾斜センサで計測された傾斜情報に基づいて、前記移動体が周辺に移動した場合の転倒危険度を判定する工程と、
    前記転倒危険度を示す画像を生成する工程と、
    前記画像を出力する工程と、を有することを特徴とする監視システムの制御方法。
12. 請求項１乃至１０のいずれか１項に記載の監視システムの各手段としてコンピュータを機能させることを特徴とするプログラム。

Images