JP2014222877A - 作業車両の周辺監視装置 - Google Patents

Abstract

【課題】車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供する。
【解決手段】周辺監視装置は、カメラ画像と、カメラ画像上の地面に垂直投影される車体（ベッセル４を含む）の外縁を示す車体外縁線ＢＬと、をモニタ３０に表示させる表示制御部を備える。運転者は、カメラ上方に位置する車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を車体外縁線ＢＬを基準として容易に把握することができる。
【選択図】図６

Description

本発明は、周辺監視装置、特に、作業車両の周囲のカメラ画像を表示装置に表示する周辺監視装置に関する。

超大型の作業車両として、鉱山等で砕石を運搬するために用いられるダンプトラックが知られている。この種のダンプトラックは、一般的なトラック等の車両に比較して著しく車幅が広く、また前後長が長いために、サイドミラー等によって周囲の状況を運転者が把握することは困難である。

そこで、非特許文献１では、周辺の状況を運転者に簡便に把握させることを目的として、車両前方及び左右の俯瞰画像と車両後方のカメラ画像とを表示装置に表示させる周辺監視装置が提案されている。具体的に、非特許文献１の周辺監視装置は、車両前方及び左右を撮影する３つのカメラと、車両後方を撮影する後方カメラとを備えている。後方カメラは車体（ベッセルを含む）下に配置されており、カメラ画像には車体後方の地面が写されている。

日立建機プレスリリース、"「オーバービューモニターシステム」をクラリオンと共同開発"、［online］、2011年1月24日、［2011年6月1日検索］、インターネット〈URL：http://www.hitachi-kenki.co.jp/news/press/PR20110121113934973.html〉

しかしながら、非特許文献１のカメラ画像では、後方カメラより上方に車体が存在するので、車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を把握することは容易ではない。すなわち、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像において判断することは困難である。

本発明は、上述の状況に鑑みてなされたものであり、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することを目的とする。

第１発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体下方に配置され、作業車両の周囲のカメラ画像を取得するカメラと、カメラによって取得されるカメラ画像と、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線と、を表示装置に表示させる表示制御部と、を備える。

第１発明に係る作業車両の周辺監視装置によれば、運転者は、カメラ上方に位置する車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、作業車両周辺の状況を運転者に簡便に把握させることができる。

第２発明に係る作業車両の周辺監視装置は、第１発明に係り、表示制御部は、カメラ画像の地面上において車体外縁線から所定距離の位置を示す警告線を、車体外縁線の外側に表示させる。

第２発明に係る作業車両の周辺監視装置によれば、車体周辺の物体が車体からどの程度離れているかを車体外縁線とともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
第３発明に係る作業車両の周辺監視装置は、第１又は第２発明に係り、車体は、フレームと、フレーム上に配置されるベッセルと、を有し、カメラの撮像範囲には、ベッセルの後端部を含んでいる。
第３発明に係る作業車両の周辺監視装置によれば、ベッセルの後端部をカメラ画像上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。
第４発明に係る作業車両の周辺監視装置は、作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、作業車両の車体に装着され、作業車両の周囲のカメラ画像をそれぞれ取得する複数のカメラと、複数のカメラによって取得される複数のカメラ画像に基づく作業車両の周囲の俯瞰画像と、複数のカメラ画像のうち特定のカメラ画像と、を並べて表示するとともに、カメラ画像上の地面に垂直投影される車体の外縁を示す車体外縁線をカメラ画像上に表示させる表示制御部と、を備える。

本発明によれば、車体と車体周辺の物体との位置関係をカメラ画像上で容易に判断可能な周辺監視装置を提供することができる。

ダンプトラックの全体構成を示す斜視図 周辺監視装置の構成を示すブロック図 ６台のカメラの装着位置と２次元撮影範囲とを示すダンプトラックの平面図 ６台のカメラによる３次元撮像範囲を示すダンプトラックの斜視図 第６カメラの取付け状態を示す斜視図 モニタの構成を示す模式図 モニタの構成を示す模式図

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前、後、左、右」とは、運転席に着座したオペレータを基準とする用語であり、「車幅方向」は、「左右方向」と同義である。

［ダンプトラックの全体構成］
図１は、本発明の一実施形態による周辺監視装置を備えたダンプトラック１の全体構成を示す斜視図である。ダンプトラック１は、鉱山作業などに用いられる自走式の超大型作業車両である。

ダンプトラック１は主に、車体フレーム２と、キャブ３と、ベッセル４と、それぞれ２つの前輪５、後輪６及びベース７を備える。また、このダンプトラック１は、車両の周囲の画像をモニタに表示させる周辺監視装置１０を備える。周辺監視装置１０の構成については後述する。

車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構やその他の補機類を支持している。また、車体フレーム２の前部左右に前輪５（図１では右前輪のみ図示）が支持され、後部左右に後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、地面に近い側にロアデッキ２Ａを有し、ロアデッキ２Ａの上方にアッパデッキ２Ｂを有している。ロアデッキ２Ａと地面との間には例えば可動式ラダー２Ｃが２つ設けられ、ロアデッキ２Ａとアッパデッキ２Ｂとの間には斜めラダー２Ｄが設けられている。アッパデッキ２Ｂ上には、前部の左右、側部、及び後部の一部に柵状の手すりが固定されている。

キャブ３は、アッパデッキ２Ｂ上において、車幅方向の中央から左側に偏倚して配置されている。このキャブ３内には、運転席、シフトレバー、コントローラ、モニタ、ハンドル、アクセルペダル、ブレーキペダル等が設けられている。後述するように、コントローラ、表示部およびシフトレバーは周辺監視装置１０の一部を構成する。

ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の後側の底部は、回動ピン（図示せず）を介して、車体フレーム２の後端部に回動可能に連結されている。これにより、ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、前部が上方に回動して積載物を排出する起立姿勢と、図１に示すように前部がキャブの上部に位置する積載姿勢と、を取り得る。

ベース７は、アッパデッキ２Ｂ上に配置される。ベース７は、トロリー用の架線から電力を受電するパンタグラフを設置するための給電装置である。

なお、本実施形態において、車体フレーム２およびベッセル４は、ダンプトラック１の「車体」を構成している。

［周辺監視装置の構成］
図２は、ダンプトラック１が備える周辺監視装置１０の構成を示すブロック図である。

周辺監視装置１０は、６台のカメラ１１〜１６と、６つのフレームメモリ１１Ａ〜１６Ａと、オペレータスイッチ２０と、モニタ３０と、表示制御部４０と、を有する。

＜カメラ＞
図３は、６台のカメラ１１〜１６の装着位置と２次元撮影範囲とを示すダンプトラック１の平面図である。図４は、６台のカメラ１１〜１６による３次元撮像範囲を示すダンプトラック１の斜視図である。図５は、第６カメラ１６の取付け状態を示す斜視図である。６台のカメラ１１〜１６は、ダンプトラック１の外周に装着され、ダンプトラック１の周囲の画像を取得する。

第１カメラ１１は、斜めラダー２Ｄの上端部に配置され、車両前方に向かって固定されている。第１カメラ１１の第１撮影範囲１１Ｒは車両前方である。
第２カメラ１２は、アッパデッキ２Ｂの前側面右端部に配置され、車両右斜め前方に向かって固定されている。第２カメラ１２の第２撮影範囲１２Ｒは車両右斜め前方である。
第３カメラ１３は、第２カメラ１２と左右対称位置、すなわちアッパデッキ２Ｂの前側面左端部に配置され、車両左斜め前方に向かって固定されている。第３カメラ１３の第３撮影範囲１３Ｒは左斜め前方である。
第４カメラ１４は、アッパデッキ２Ｂの右側面前端部に配置され、車両右斜め後方に向かって固定されている。第４カメラ１４の第４撮影範囲１４Ｒは右斜め後方である。
第５カメラ１５は、第４カメラと左右対称位置、すなわちアッパデッキ２Ｂの左側面前端部に配置され、車両左斜め後方に向かって固定されている。第５カメラ１５の第５撮影範囲１５Ｒは左斜め後方である。
第６カメラ１６は、図５に示すように、ベッセル４の下方に潜り込むように配置されており、車両後方に向かって固定されている。具体的に、第６カメラ１６は、リヤアクスル８の上方において、クロスバー９に取り付けられたブラケット９ａに固定されている。第６カメラ１６は後方斜め下向きに固定されており、後方カメラ１６の撮像範囲１６Ｒはベッセル４下方と車両後方である。ここで、本実施形態において、第６カメラ１６の撮像範囲１６Ｒには、他のカメラの撮像範囲画像とは異なり、車体自体（ベッセル４の後端部）を含んでいる（図６参照）。

以上の６台のカメラ１１〜１６によってダンプトラック１のほぼ全周囲の画像が取得される。６台のカメラ１１〜１６のそれぞれは、自装置が撮影したカメラ画像を示すカメラ画像データを、フレームメモリ１１Ａ〜１６Ａのそれぞれに送信する。

＜フレームメモリ＞
６つのフレームメモリ１１Ａ〜１６Ａは、６台のカメラ１１〜１６に接続されている。６台のカメラ１１〜１６は、６台のカメラ１１〜１６から受信するカメラ画像データを一旦記憶する。６つのフレームメモリ１１Ａ〜１６Ａは、記憶したカメラ画像データを表示制御部４０に送信する。

＜オペレータスイッチ＞
オペレータスイッチ２０は、６台のカメラ１１〜１６それぞれのカメラ画像のうちモニタ３０に表示すべきカメラ画像を指定するための操作具である。運転者は、オペレータスイッチ２０を操作することによって、所望のカメラ画像をモニタ３０に表示させることができる。オペレータスイッチ２０は、いずれのカメラ画像が選択されたかを表示制御部４０に通知する。

＜モニタ＞
図６及び図７は、モニタ３０の構成を示す模式図である。
モニタ３０は、キャブ３内において運転席の前方に配置される。モニタ３０は、図６及び図７に示すように、カメラ画像を表示する表示領域３０ａを有する。なお、図６は、第６カメラ１６のカメラ画像１６Ｇと俯瞰画像Ｆとが表示領域３０ａに表示された様子を示している。図７は、第５カメラ１５のカメラ画像１５Ｇと俯瞰画像Ｆとが表示領域３０ａに表示された様子を示している。

なお、表示領域３０ａには、複数のカメラ画像が表示されてもよいし、俯瞰画像Ｆだけが表示されてもよい。このようなモニタ３０の表示は、ダンプトラック１の走行状態に応じて自動的に切り換えることとしてもよい。例えば、前進時及び停止時には第１カメラ１１のカメラ画像と俯瞰画像Ｆとを表示し、後進時には第６カメラ１６のカメラ画像１６Ｇのみを表示することができる。さらに、後進時には、カメラ画像１６Ｇと俯瞰画像Ｆとを表示してもよいし、カメラ画像１６Ｇと他のカメラ画像とを表示してもよい。

＜表示制御部＞
表示制御部４０は、オペレータスイッチ２０からの通知に基づいて、選択されたカメラ画像に対応するカメラ画像データを選択する。また、表示制御部４０は、６台のカメラ１１〜１６のカメラ画像データを座標変換することによって、複数の画像が所定の投影面上に投影されダンプトラック１の全周囲を囲む俯瞰画像Ｆを示す俯瞰画像データを生成する。表示制御部４０は、カメラ画像データと俯瞰画像データとを合成することによって、選択されたカメラ画像と俯瞰画像Ｆとが並んだ２画面画像に対応する２画面データを生成する。

また、表示制御部４０は、選択されたカメラ画像において地面に垂直投影される車体（車体フレーム２およびベッセル４を含む。）の外縁を示す車体外縁線ＢＬに対応する車体外縁線データを生成する。表示制御部４０は、次に説明する手順に従って、対象カメラのカメラ画像の歪みに応じた車体外縁線データを生成する。

まず、表示制御部４０は、次式（１）〜（３）に基づいて、対象カメラの向きを示す３つの行列Ｒａ、Ｒｂ、Ｒｃを定義する。

但し、
ca=cos(roll),sa=sin(roll)
cb=cos(pitch),sb=sin(pitch)
cc=cos(yaw),sc=sin(yaw)
rollは、前後方向に平行な軸周りにおける対象カメラの振れ角
pitchは、車幅方向に平行な軸周りにおける対象カメラの振れ角
yawは、鉛直方向に平行な軸周りにおける対象カメラの振れ角
pitch,roll,yawは、表示制御部４０が内蔵するメモリに格納されている
次に、表示制御部４０は、次式（４）に基づいて、地面に垂直投影された車体の外縁上の１点の物理座標系での３次元座標（ Xr, Yr, Zr ）を鉛直方向-前後方向-車幅方向のオイラー角として、対象カメラの向きおよび位置を基準とするカメラ座標系での３次元座標（ x , y , z ）に変換する。

但し、（ tx, ty, tz ）は、対象カメラの物理座標系における座標
次に、表示制御部４０は、次式（５）〜（１１）に基づいて、カメラ座標系における３次元座標（ x , y , z ）を、モニタ３０の表示領域３０ａ上における２次元座標（u , v）に変換する。

但し、
k1,k2.k3は、半径方向歪係数
p1,p2は、せん断方向歪係数
ｆx、fyは、カメラ焦点距離
cx、cyは、カメラの焦点方向をZ軸,撮像面方向をX軸,Y軸とするカメラ座標系
このように、表示制御部４０は、地面に垂直投影された車体の外縁上の１点の表示領域３０ａ上における２次元座標（ u , v ）を取得する。表示制御部４０は、車体の外縁上の複数点について同様に２次元座標を取得することによって、所望の形状（破線や鎖線など）の車体外縁線ＢＬに対応する車体外縁線データを生成する。

また、表示制御部４０は、上記式（１）〜（１１）を同様に用いて、車体外縁線ＢＬから外側に所定距離の位置を示す第１〜第３警告線Ｌ１〜Ｌ３に対応する警告線データを生成する。本実施形態において、第１警告線Ｌ１は車体外縁線ＢＬの外側３ｍラインであり、第２警告線Ｌ２は車体外縁線ＢＬの外側５ｍラインであり、第３警告線Ｌ３は車体外縁線ＢＬの外側７ｍラインである。

表示制御部４０は、生成した２画面データと、生成した車体外縁線データと、生成した警告線データとを重畳させることによって、表示用画像データを生成する。表示制御部４０は、生成した表示用画像データをモニタ３０に送信する。これによって、モニタ３０には、図６及び図７に示すように、地面に垂直投影される車体の外縁を示す車体外縁線ＢＬと、車体外縁線ＢＬより車体の外側３，５，７ｍラインを示す第１〜第３警告線Ｌ１〜Ｌ３とが、カメラ画像１５Ｇ，１６Ｇとともに表示される。

［作用及び効果］
（１）周辺監視装置１０は、カメラ画像と、カメラ画像上の地面に垂直投影される車体（ベッセル４を含む）の外縁を示す車体外縁線ＢＬと、をモニタ３０に表示させる表示制御部４０を備える。

従って、運転者は、カメラ上方に位置する車体と車体周辺の物体（例えば、人、車、建物など）との位置関係を車体外縁線を基準として容易に把握することができる。そのため、例えば、車体下の空間に人が入っているか、或いは、車体が建物にどの程度近づいているかなどをカメラ画像上で容易に判断することができる。その結果、ダンプトラック１周辺の状況を運転者に簡便に把握させることができる。

（２）表示制御部４０は、車体外縁線ＢＬから所定距離の位置を示す第１〜第３警告線Ｌ１〜Ｌ３をモニタ３０に表示させる。

従って、車体周辺の物体が車体からどの程度離れているかを車体外縁線ＢＬとともに段階的に示すことができるので、車体と車体周辺の物体との位置関係をより容易に運転者に把握させることができる。
（３）第６カメラ１６の撮像範囲１６Ｒには、図６に示すように、画面下方には地面が含まれており、地面に対向する画面上方には車体の一部を構成するベッセル４の後端部下面側が含まれている。従って、ベッセル４の後端部をカメラ画像１６G上において直接確認することができるので、ベッセルとベッセル周辺の物体との位置関係をより明確に運転者に把握させることができる。

［他の実施形態］
本発明は以上のような実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。

（Ａ）上記実施形態において、表示制御部４０は、第１〜第３警告線Ｌ１〜Ｌ３をモニタ３０に表示させることとしたが、これに限られるものではない。表示制御部４０は、第１〜第３警告線Ｌ１〜Ｌ３のいずれかを表示させなくてもよいし、また、４本以上の警告線を表示させてもよい。

（Ｂ）上記実施形態において、表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３を破線で示すこととしたが、これに限られるものではない。表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３を実線や鎖線などで示してもよい。また、表示制御部４０は、車体外縁線ＢＬおよび第１〜第３警告線Ｌ１〜Ｌ３をそれぞれ異なる色で示してもよい。

（Ｃ）上記実施形態では、図６及び図７を用いて、車体外縁線ＢＬが、第６カメラ１６のカメラ画像１６Ｇ又は第５カメラ１５のカメラ画像１５Ｇと共に表示されるケースについて説明したが、これに限られるものではない。運転者が第１〜第４カメラのいずれかを指定した場合、車体外縁線ＢＬは、第１〜第４カメラのカメラ画像と共に表示されることになる。

（Ｄ）上記実施形態において、ダンプトラック１は、ベース７を備えることとしたが備えていなくてもよい。

（Ｅ）上記実施形態において、ダンプトラック１は、６台のカメラ１１〜１６を備えることとしたが、これに限られるものではない。ダンプトラック１は、１台〜５台のカメラを備えていてもよいし、７台以上のカメラを備えていてもよい。

１ ダンプトラック
２ 車体フレーム
３ キャブ
４ ベッセル
１０ 周辺監視装置
１１〜１６ カメラ
１１Ａ〜１６Ａ フレームメモリ
２０ オペレータスイッチ
３０ モニタ
３０ａ 表示領域
４０ 表示用制御部
ＢＬ 車体外縁線
Ｌ１ 第１警告線
Ｌ２ 第２警告線
Ｌ３ 第３警告線

Claims (4)

1. 作業車両の周囲の画像を表示装置に表示する周辺監視装置であって、
   前記作業車両の車体を撮像範囲に含み、前記作業車両の周囲のカメラ画像を示すカメラ画像データをそれぞれ取得する複数のカメラと、
   前記複数のカメラのいずれかによって取得されるカメラ画像データに基づくカメラ画像と、前記複数のカメラによって取得される複数のカメラ画像データを座標変換することによって生成される俯瞰画像データに基づく俯瞰画像とを前記表示装置に表示させる表示制御部と、
   を備え、
   前記複数のカメラの少なくとも一つは、前記車体の下方に配置されており、
   前記表示制御部は、前記カメラ画像の地面に前記車体の外縁を垂直投影した車体外縁線を表示させる、
   作業車両の周辺監視装置。
2. 前記表示制御部は、前記カメラ画像の地面上において前記車体外縁線から所定距離の位置を示す警告線を、前記車体外縁線の外側に表示させる、
   請求項１に記載の作業車両の周辺監視装置。
3. 前記作業車両は、ダンプトラックであって、
   前記車体は、フレームと、フレーム上に配置されるベッセルと、を有し、
   前記車体の外縁は、前記ベッセルの後端部である、
   請求項１又は２に記載の作業車両の周辺監視装置。
4. 前記複数のカメラのいずれかは、前記作業車両のリヤアクスルの上方に固定される、
   請求項１乃至３のいずれかに記載の作業車両の周辺監視装置。