JP2019145953A

JP2019145953A - 作業車両の表示システム及び生成方法

Info

Publication number: JP2019145953A
Application number: JP2018027202A
Authority: JP
Inventors: 山下　淳; Atsushi Yamashita; 淳山下; 宗一郎岩滝; Soichiro Iwataki; 浩光藤井; Hiromitsu Fujii; 正隆淵田; Masataka Fuchida; モロアレッサンドロ; Moro Alessandro; 一淺間; Hajime Asama; 一樹久禮; Kazuki Kure
Original assignee: Komatsu Ltd; University of Tokyo NUC
Current assignee: Komatsu Ltd; University of Tokyo NUC
Priority date: 2018-02-19
Filing date: 2018-02-19
Publication date: 2019-08-29
Anticipated expiration: 2038-02-19
Also published as: CA3075426C; US20210214922A1; JP7232437B2; CN111149355B; CA3075426A1; CN111149355A; US11377824B2; AU2019222009A1; AU2019222009B2; WO2019159687A1

Abstract

【課題】作業車両の周囲環境の形状を容易に把握できる表示画像を生成する。【解決手段】表示システム２は、カメラＣ１〜Ｃ４と、形状センサ２１と、コントローラ２０とを含む。各カメラは、作業車両の周囲環境の画像を撮影し、画像を示す画像データを出力する。形状センサは、周囲環境の３次元形状を測定し、３次元形状を示す３Ｄ形状データを出力する。コントローラは、画像データと３Ｄ形状データとを取得し、３Ｄ形状データに基づいて３次元投影モデルを生成する。３次元投影モデルは、周囲環境の３次元形状を表現する。画像データに基づいて３次元投影モデルに画像を投影することで、車両の周囲環境の表示画像を示す表示画像データを生成する。【選択図】図２

Description

本発明は、作業車両の表示システム及び生成方法に関する。

作業車両の周囲をカメラで撮影し、作業車両の周囲を上方より見下ろした俯瞰画像をディスプレイに表示する技術がある。例えば、特許文献１に記載の表示システムでは、作業車両に車載された複数のカメラが、作業車両の周囲環境の画像データを取得する。表示システムのコントローラは、取得された画像を半球面形状の投影モデルにマッピングすることにより、俯瞰画像を生成する。

国際公開公報ＷＯ２０１６／０３１００９号

上述した表示システムでは、投影モデルの形状は常に半球面形状で一定である。そのため、作業車両の周囲環境の実際の形状を俯瞰画像から把握することは難しい。例えば、投影モデルの底面は常に平坦な平面である。そのため、作業車両の周囲の地表面が傾斜や凹凸を有している場合であっても、それらを撮影した画像は平坦な投影面に投影される。そのため、俯瞰画像から傾斜や凹凸な地形であることを把握することは容易ではない。

本発明の目的は、作業車両の周囲環境の形状を容易に把握できる表示画像を生成することにある。

一態様に係る作業車両の表示システムは、カメラと、形状センサと、コントローラとを含む。カメラは、作業車両の周囲環境の画像を撮影し、画像を示す画像データを出力する。形状センサは、周囲環境の３次元形状を測定し、３次元形状を示す３Ｄ形状データを出力する。コントローラは、画像データと３Ｄ形状データとを取得する。コントローラは、３Ｄ形状データに基づいて３次元投影モデルを生成する。３次元投影モデルは、周囲環境の３次元形状を表現する。画像データに基づいて３次元投影モデルに画像を投影することで、作業車両の周囲環境の表示画像を示す表示画像データを生成する。

本態様に係る作業車両の表示システムでは、作業車両の周囲環境の３次元形状が形状センサによって測定され、測定された３次元形状に基づいて３次元投影モデルが生成される。そのため、３次元投影モデルは、作業車両の周囲環境の実際の形状と同じ、或いは近似した形状を有している。従ってカメラが撮影した画像を３次元投影モデルに投影することで、作業車両の周囲環境の形状を容易に把握できる表示画像を生成することができる。

他の態様に係る生成方法は、作業車両の周囲環境の表示画像を示す表示画像データを生成するためにコントローラによって実行される生成方法であって、以下の処理を含む。第１の処理は、作業車両の周囲環境の画像を示す画像データを取得することである。第２の処理は、周囲環境の３次元形状を示す３Ｄ形状データを取得することである。第３の処理は、３Ｄ形状データに基づいて周囲環境の３次元形状を表現する３次元投影モデルを生成することである。第４の処理は、画像データに基づいて３次元投影モデルに画像を投影することで、表示画像データを生成することである。

本態様に係る生成方法では、作業車両の周囲環境の３次元形状が形状センサによって測定され、測定された３次元形状に基づいて３次元投影モデルが生成される。そのため、３次元投影モデルは、作業車両の周囲環境の実際の形状と同じ、或いは近似した形状を有している。従ってカメラが撮影した画像を３次元投影モデルに投影することで、作業車両の周囲環境の形状を容易に把握できる表示画像を生成することができる。

本発明によれば、作業車両の周囲環境の形状を容易に把握できる表示画像を生成することができる。

実施形態に係る作業車両を示す側面図である。第１実施形態に係る表示システムの構成を示す図である。形状センサによって取得される３Ｄ形状データを説明するための図である。第１実施形態に係る表示画像の一例を示す図である。第２実施形態に係る表示システムのコントローラによって実行される処理を示すフローチャートである。点群密度の警告条件を説明するための図である。傾斜の警告条件を説明するための図である。起伏の警告条件を説明するための図である。第２実施形態に係る表示画像の一例を示す図である。表示システムによって評価される地形の例を示す図である。他の実施形態に係る作業車両を示す側面図である。

以下、図面を参照して、実施形態に係る作業車両の表示システムについて説明する。本実施形態に係る表示システムは、作業車両及びその周囲環境を表示するためのシステムである。図１は、実施形態に係る作業車両１を示す側面図である。本実施形態において、作業車両１はブルドーザである。作業車両１は、車両本体３と、作業機４と、走行装置５とを有する。

車両本体３は、エンジン室６を有する。エンジン室６内には、エンジン７、及び、油圧ポンプ８などの駆動装置が配置されている。車両本体３の後部には、リッパ装置９が取り付けられている。

走行装置５は、作業車両１を走行させるための装置である。走行装置５は、作業車両１の短手方向の一方および他方の側部に配置される一対の履帯１１を有している。履帯１１は、作業車両１の長手方向に延びるループ状のチェーンである。履帯１１が駆動されることにより作業車両１が走行する。

作業機４は、車両本体３の前方に配置されている。作業機４は、掘削、運土、或いは整地などの作業に用いられる。作業機４は、ブレード１２と、チルトシリンダ１３と、リフトシリンダ１４と、アーム１５と、を有する。ブレード１２は、アーム１５を介して車両本体３に支持されている。ブレード１２は、上下方向に揺動可能に設けられている。チルトシリンダ１３とリフトシリンダ１４とは、油圧ポンプ８から吐出された作動油によって駆動され、ブレード１２の姿勢を変更する。

図２は、第１実施形態に係る表示システム２の構成、及び、表示システム２による処理の流れを示すブロック図である。図２に示すように、表示システム２は、複数のカメラＣ１−Ｃ４を有する。複数のカメラＣ１−Ｃ４は、車両本体３に取り付けられている。複数のカメラＣ１−Ｃ４は、魚眼カメラである。複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１−Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１−Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。

図１に示すように、前カメラＣ１は、車両本体３の前部に取り付けられる。詳細には、図１に示すように、車両本体３は前カメラ支持部１６を有する。前カメラ支持部１６は、車両本体３の前部から上方、且つ、前方に延びている。前カメラＣ１は、前カメラ支持部１６に取り付けられている。後カメラＣ３は、車両本体３の後部に取り付けられる。

第１サイドカメラＣ２は、車両本体３の一方の側部に取り付けられている。第２サイドカメラＣ４は、車両本体３の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車両本体３の左側部に取り付けられ、第２サイドカメラＣ４は、車両本体３の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車両本体３の右側部に取り付けられ、第２サイドカメラＣ４が、車両本体３の左側部に取り付けられてもよい。

前カメラＣ１は、車両本体３の前方を撮像し、作業車両１の周囲環境を含む画像を取得する。後カメラＣ３は、車両本体３の後方を撮像し、作業車両１の周囲環境を含む画像を取得する。第１サイドカメラＣ２は、車両本体３の左方を撮像し、作業車両１の周囲環境を含む画像を取得する。第２サイドカメラＣ４は、車両本体３の右方を撮像し、作業車両１の周囲環境を含む画像を取得する。カメラＣ１−Ｃ４は、取得した画像を示す画像データを出力する。

図２に示すように、表示システム２は、コントローラ２０と、形状センサ２１と、姿勢センサ２２と、位置センサ２３と、ディスプレイ２４とを含む。形状センサ２１は、作業車両１の周囲環境の３次元形状を測定し、３次元形状を示す３Ｄ形状データＤ１を出力する。形状センサ２１は、作業車両１の周囲環境上の複数点の位置を測定する。３Ｄ形状データＤ１は、作業車両１の周囲環境上の複数点の位置を示す。作業車両１の周囲環境は、例えば作業車両１の周囲の地表面を含む。すなわち、３Ｄ形状データＤ１は、作業車両１の周囲の地表面上の複数点の位置を含む。特に、３Ｄ形状データＤ１は、作業車両１の前方の地表面上の複数点の位置を含む。

詳細には、形状センサ２１は、周囲環境上の複数点の位置の作業車両１からの距離を測定する。複数点の位置は、複数点の作業車両１からの距離により求められる。本実施形態において、形状センサ２１は、ライダ（LIDAR：Laser Imaging Detection and Ranging）である。形状センサ２１は、レーザーを照射して、その反射光を計測することで、計測点までの距離を測定する。

形状センサ２１は、例えば鉛直方向に並んだ複数のレーザー距離計測素子を含む。形状センサ２１は、複数のレーザー距離計測素子を、鉛直方向に延びる軸回りに横方向に回転させながら、所定周期で複数点の位置の測定を行う。従って、形状センサ２１は、一定の回転角ごとに周囲環境上の点までの距離を測定し、３次元の点群の位置を取得する。

形状データは、各点について、どの素子によって測定されたかという情報と、どの回転角で測定されたかという情報、及び、各素子の位置関係の情報とを含む。また、コントローラ２０は、各素子と作業車両１との位置関係を示す情報を有している。従って、コントローラ２０は、形状データより、周囲環境上の各点、及び作業車両の位置関係を取得することができる。

姿勢センサ２２は、作業車両１の姿勢を検出し、姿勢を示す姿勢データＤ２を出力する。姿勢センサ２２は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）である。姿勢データＤ２は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。ＩＭＵは、姿勢データＤ２を出力する。

位置センサ２３は、例えばＧＮＳＳ(Global Navigation Satellite System)レシーバである。ＧＮＳＳレシーバは、例えばＧＰＳ（Global Positioning System）用の受信機である。ＧＮＳＳレシーバは、衛星より測位信号を受信し、測位信号により作業車両１の位置座標を示す位置データＤ３を取得する。ＧＮＳＳレシーバは、位置データＤ３を出力する。

形状センサ２１は、例えば前カメラ支持部１６に取り付けられる。或いは、形状センサ２１は、車両本体３の他の部分に取り付けられてもよい。姿勢センサ２２と位置センサ２３とは、車両本体３に取り付けられる。或いは、位置センサ２３は、作業機４に取り付けられてもよい。

コントローラ２０は、カメラＣ１−Ｃ４と有線、或いは無線により通信可能に接続されている。コントローラ２０は、カメラＣ１−Ｃ４から画像データを受信する。コントローラ２０は、形状センサ２１、姿勢センサ２２、及び位置センサ２３と有線、或いは無線により通信可能に接続されている。コントローラ２０は、形状センサ２１から３Ｄ形状データＤ１を受信する。コントローラ２０は、姿勢センサ２２から姿勢データＤ２を受信する。コントローラ２０は、位置センサ２３から位置データＤ３を受信する。

コントローラ２０は、上述した画像データと３Ｄ形状データＤ１と姿勢データＤ２と位置データＤ３とに基づいて、作業車両１の周囲環境を表示するための表示画像Ｉｓを生成するようプログラムされている。コントローラ２０は、作業車両１の外部に配置されてもよい。或いは、コントローラ２０は、作業車両１の内部に配置されてもよい。コントローラ２０は、演算装置２５と記憶装置２６とを含む。

演算装置２５は、ＣＰＵなどのプロセッサによって構成される。演算装置２５は、表示画像Ｉｓを生成するための処理を行う。記憶装置２６は、ＲＡＭ或いはＲＯＭなどのメモリ、或いは、ハードディスクなどの補助記憶装置２６によって構成される。記憶装置２６は、表示画像Ｉｓの生成に用いられるデータ及びプログラムを記憶している。

ディスプレイ２４は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ２４はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ２４は、コントローラ２０からの出力信号に基づいて表示画像Ｉｓを表示する。

次に、表示画像Ｉｓの生成について詳細に説明する。まず、カメラＣ１−Ｃ４による撮像が行われる。コントローラ２０は、カメラＣ１−Ｃ４から、前方画像Ｉｍ１と、左方画像Ｉｍ２と、後方画像Ｉｍ３と、右方画像Ｉｍ４と、を取得する。前方画像Ｉｍ１は、車両本体３の前方の画像である。左方画像Ｉｍ２は、車両本体３の左方の画像である。後方画像Ｉｍ３は、車両本体３の後方の画像である。右方画像Ｉｍ４は、車両本体３の右方の画像である。

コントローラ２０は、形状センサ２１から取得した３Ｄ形状データＤ１に基づいて３次元投影モデルＭ１を生成する。図３に示すように、コントローラ２０は、作業車両１の周囲環境上の複数点の位置に基づいて、周囲環境の形状を表現するポリゴンメッシュを生成する。３次元投影モデルＭ１は、複数点のうち隣接する点を結んだポリゴンを含む。

詳細には、図３に示すように、コントローラ２０は、形状センサ２１による１回のスキャンで測定された複数点P(1,1)，P(2,1) ，・・・，P(i,j) ，・・・のうち、隣接する点を結んでメッシュを生成する。ここで、P(i,j)は、それぞれ鉛直方向においてｉ番目のレーザー距離計測素子で測定され、横方向にｊ番目の回転角で得られた点を表している。コントローラ２０は、点P(i,j), P(i+1,j), P(i,j+1), P(i+1,j+1)について、三角形（P(i,j), P(i+1,j), P(i,j+1)）と三角形（P(i+1,j),P(i,j+1), P(i+1,j+1)）を生成する。それにより、コントローラ２０は、三角形のポリゴンで表された３次元投影モデルＭ１を生成する。

なお、形状センサ２１は、周期的に周囲環境の３次元形状を測定する。コントローラ２０は、３Ｄ形状データＤ１を更新し、更新された３Ｄ形状データＤ１に基づいて、３次元投影モデルＭ１を生成する。

コントローラ２０は、カメラＣ１−Ｃ４が取得した画像Ｉｍ１−Ｉｍ４から周囲合成画像Ｉｓ１を生成する。周囲合成画像Ｉｓ１は、作業車両１の周囲を俯瞰的に示す画像である。３次元投影モデルＭ１に、カメラＣ１−Ｃ４が取得した画像Ｉｍ１−Ｉｍ４をテクスチャマッピングにより投影することで、周囲合成画像Ｉｓ１を生成する。

また、コントローラ２０は、作業車両１を示す車両画像Ｉｓ２を表示画像に合成する。車両画像Ｉｓ２は、作業車両１自体を３次元的に示す画像である。コントローラ２０は、姿勢データＤ２から表示画像Ｉｓ上の車両画像Ｉｓ２の姿勢を決定する。コントローラ２０は、位置データＤ３から表示画像Ｉｓ上の車両画像Ｉｓ２の向きを決定する。コントローラ２０は、表示画像Ｉｓ上の車両画像Ｉｓ２の姿勢と向きとが、作業車両１の実際の姿勢及び向きと一致するように、表示画像Ｉｓに車両画像Ｉｓ２を合成する。

なお、コントローラ２０は、カメラＣ１−Ｃ４が取得した画像Ｉｍ１−Ｉｍ４から車両画像Ｉｓ２を生成してもよい。例えば、カメラＣ１−Ｃ４が取得した画像中に作業車両１の部分がそれぞれ含まれており、コントローラ２０は、車両モデルＭ２に、画像中の各部分を投影することで車両画像Ｉｓ２を生成してもよい。車両モデルＭ２は、作業車両１の形状を有する投影モデルであり、記憶装置２６に保存されていてもよい。或いは、車両画像Ｉｓ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。

ディスプレイ２４は、表示画像Ｉｓを表示する。図４は、表示画像Ｉｓの一例を示す図である。図４に示すように、表示画像Ｉｓは、作業車両１及びその周囲を三次元的に表した画像である。図４に示すように、作業車両１の周囲の傾斜した実際の地形に合わせて、傾斜した形状を有する３次元投影モデルＭ１を用いて、表示画像Ｉｓが表示される。また、作業車両１の傾斜した実際の姿勢に合わせて、車両画像Ｉｓ２が傾斜した状態で表示画像Ｉｓに表示されている。

表示画像Ｉｓは、リアルタイムに更新され、動画として表示される。従って、作業車両１が走行しているときには、周囲環境、作業車両の姿勢、向き、位置の実際の変化に応じて、表示画像Ｉｓ中の周囲合成画像ＩＳ１、車両画像Ｉｓ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。

作業車両１の姿勢、向き、及び位置の変化を表現するためには、３次元投影モデルＭ１及び車両モデルＭ２を、作業車両１が走行を開始したときの姿勢、向き、及び位置からの変化を表す回転行列に従って回転させ、並進ベクトルに従って並進させる。回転ベクトルと並進ベクトルとは、上述した姿勢データＤ２及び位置データＤ３から取得される。

画像の合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“Visualization of the surrounding environment and operational part ina 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。

なお、図４では、表示画像Ｉｓは、作業車両１及びその周囲を左側方から見た画像である。しかし、コントローラ２０は、前方、後方、右側方、上方、或いは、各方向の斜めから、作業車両１及びその周囲を見た画像に、表示画像Ｉｓを切り換えることができる。

以上説明した本実施形態に係る表示システム２では、作業車両１の周囲環境の３次元形状が形状センサ２１によって測定され、測定された３次元形状に基づいて３次元投影モデルＭ１が生成される。そのため、３次元投影モデルＭ１は、作業車両１の周囲の実際の地形と同じ、或いは近似した形状を有している。従って、作業車両１の周囲の実際の地形を反映した形状で、周囲環境の画像を表示画像Ｉｓ中に提示することができる。従って、本実施形態に係る表示システム２では、作業車両１の周囲環境の形状を容易に把握できる表示画像Ｉｓを生成することができる。

また、作業車両１の実際の姿勢が姿勢センサ２２によって測定され、測定された姿勢に合わせて、表示画像Ｉｓに車両画像Ｉｓ２が表示される。そのため、作業車両１の実際の姿勢を反映した姿勢で車両画像Ｉｓ２を表示画像Ｉｓ中に提示することができる。それにより、作業車両１が傾斜面に侵入したことや、旋回の動作をしている様子など、作業車両１の姿勢変化をオペレータに明確に提示することができる。

次に、第２実施形態に係る表示システム２について説明する。第２実施形態に係る表示システム２では、コントローラ２０は、３Ｄ形状データＤ１に基づいて周囲環境に含まれる複数の領域の評価を行う。本実施形態では、コントローラ２０は、上述した３次元投影モデルＭ１の三角形ポリゴンを１つの領域として定義する。なお、表示システム２の構成及び表示画像Ｉｓの生成方法については、第１実施形態と同様であるため、説明を省略する。

コントローラ２０は、各領域を複数のレベルに分類して評価する。本実施形態では、コントローラ２０は、各領域を第１レベルと第２レベルとに分類する。第１レベルは、作業車両１の進入を許容する領域であることを示す。第２レベルは、作業車両１の進入を禁止する領域であることを示す。

図５は、領域の評価を行うを行うためにコントローラ２０によって行われる処理を示すフローチャートである。ステップＳ１０１では、コントローラ２０は、各領域に対して点群密度の警告条件を満たしているかを判定する。点群密度の警告条件は、以下の式（１）で表される。

L1(i), L2(i), L3(i)は、各領域を規定する点を結んだ線分の長さである。図６に示すように、コントローラ２０は、各領域を表す三角形（Pi, Pi+1, Pi+2)の各辺の長さL1(i), L2(i), L3(i)を各領域の線分の長さとして算出する。

すなわち、コントローラ２０は、各領域（Pi, Pi+1, Pi+2)の線分の長さを所定の閾値k×Lcと比較し、各領域（Pi, Pi+1, Pi+2)が閾値k×Lcより大きい線分を含むかを判定する。ある領域（Pi, Pi+1, Pi+2)が点群密度の警告条件を満たすとき、すなわち、ある領域（Pi, Pi+1, Pi+2)が閾値k×Lcより大きい線分を含むときには、ステップＳ１０２において、コントローラ２０は、当該領域（Pi, Pi+1, Pi+2)を第２レベルと判定する。

図１に示すように、“Lc”は、履帯１１の長さである。履帯１１の長さとは、平坦な面の上に置かれた履帯が平坦な面と接する長さであり、接地長と呼ばれる。“k”は、０より大きく１より小さい所定の係数である。従って、閾値k×Lcは、履帯１１の長さに基づいて規定される、例えば係数“k”は、１／２である。ただし、係数“k”は１／２以外の値であってもよい。係数“k”は、固定値であってもよく、或いはオペレータによって任意に設定可能であってもよい。履帯１１の長さLcは、接地長と関連のある長さであってもよい。例えば、履帯１１の前後方向の全長であってよい。その場合、係数kの値は、適宜、変更される。

点群密度の警告条件は、更に、以下の式（２）で示される条件を含んでもよい。

ここで、Lc’は、左右の履帯１１の中心間距離であり、履帯ゲージ幅と呼ばれる。係数k’は、略１である。コントローラ２０は、式（１）と式（２）の両者が満足したときに、警告条件が満たされたと判定してもよい。

ある領域（Pi, Pi+1, Pi+2)が点群密度の警告条件を満たさないとき、すなわち、ある領域（Pi, Pi+1, Pi+2)が閾値k×Lcより大きい線分を含まないときには、処理はステップＳ１０３に進む。

ステップＳ１０３では、コントローラ２０は、点群密度の警告条件を満たさない領域に対して、傾斜の警告条件を満たすかを判定する。傾斜の警告条件は、以下の式（３）で表される。

ここでは、図７に示すように、コントローラ２０は、対象とする領域（Pi, Pi+1, Pi+2)と、その周囲の所定範囲A1(i)に含まれる領域の法線ベクトルNiを求め、それらの領域の法線の平均Navを算出する。法線の平均Navと重力方向とのなす角を、当該対象とする領域（Pi, Pi+1, Pi+2)の傾斜角として決定する。上記の傾斜の警告条件は、対象とする領域（Pi, Pi+1, Pi+2)の傾斜角が閾値θmaxを超えていることを意味する。式（３）において、e_zは、重力方向の単位ベクトルである。

閾値θmaxは、例えば、作業車両１の進入が許容される上限傾斜角である。ただし、閾値θmaxは、他の値であってもよい。閾値θmaxは、固定値であってもよく、或いはオペレータによって任意に設定されてもよい。所定範囲A1(i)は、例えば、対象とする領域（Pi, Pi+1, Pi+2)の図心を中心とする半径Rの円で表される。半径Rは固定値であってもよい。或いは、半径Rはオペレータによって任意に設定されてもよい。

ある領域（Pi, Pi+1, Pi+2)が傾斜の警告条件を満たすとき、すなわち、ある領域（Pi, Pi+1, Pi+2)の傾斜角が閾値θmaxより大きいときには、ステップＳ１０２において、コントローラ２０は、当該領域（Pi, Pi+1, Pi+2)を第２レベルと判定する。ある領域（Pi, Pi+1, Pi+2)が傾斜の警告条件を満たさないとき、すなわち、ある領域（Pi, Pi+1, Pi+2)の傾斜角が閾値θmax以下であるときには、処理はステップＳ１０４に進む。

ステップＳ１０４では、コントローラ２０は、点群密度の警告条件を満たさない領域に対して、起伏の警告条件を満たすかを判定する。起伏の警告条件は、以下の式（４）で表される。

nは、図８に示すように、対象とする判定範囲A2(i)内に含まれる点の数である。ここでの判定範囲A2(i)は、ステップＳ１０３での所定範囲A1(i)と同じであってもよく、或いは異なってもよい。Ziは、点Piの重力方向における高さである。Zavは、判定範囲A2(i)に含まれる点の高さの平均である。σ²zは、判定範囲A2(i)内の点の高さの分散を示している。上記の起伏の警告条件は、対象とする判定範囲A2(i)に含まれる点の高さの分散σ²zが、閾値σ²maxを超えていることを意味する。すなわち、起伏の警告条件は、判定範囲A2(i)の起伏の変化が大きいことを意味している。

閾値σ²maxは、例えば、作業車両１の進入が許容される起伏の変化の上限である。ただし、閾値σ²maxは、他の値であってもよい。閾値σ²maxは、固定値であってもよく、或いはオペレータによって任意に設定されてもよい。

ある判定範囲A2(i)が起伏の警告条件を満たすときには、ステップＳ１０２において、コントローラ２０は、当該判定範囲A2(i)に含まれる領域を第２レベルと判定する。ある判定範囲A2(i)が起伏の警告条件を満たさないときには、処理はステップＳ１０５に進む。

ステップＳ１０５では、コントローラ２０は、点群密度の警告条件と、傾斜の警告条件と、起伏の警告条件との全てを満たさない領域に対して、第１レベルと判定する。

次に、コントローラ２０は、表示画像Ｉｓをディスプレイ２４に表示する。コントローラ２０は、表示画像Ｉｓにおいて、評価に応じた態様で、複数の領域のそれぞれを表示する。詳細には、コントローラ２０は、第２レベルの領域を第１レベルの領域と異なる色で表示する。

図９は、第２実施形態に係る表示画像Ｉｓの一例を示す図である。図９に示す表示画像Ｉｓにおいて、作業車両１の右方には、急な下り斜面Ｓｐ２が存在している。作業車両１の左方には、急な上り斜面Ｓｐ３が存在している。

コントローラ２０は、作業車両１の正面の領域Ｓｐ１を第１レベルと判定する。また、コントローラ２０は、右方の下り斜面Ｓｐ２と左方の上り斜面Ｓｐ３を第２レベルと判定する。コントローラ２０は、右方の下り斜面Ｓｐ２と左方の上り斜面Ｓｐ３を、正面の領域Ｓｐ１とは異なる色で、表示画像Ｉｓに表現する。

以上説明した第２実施形態に係る表示システム２では、コントローラ２０は、３Ｄ形状データＤ１に基づいて周囲環境に含まれる複数の領域の評価を行い、第２レベルの領域を第１レベルの領域と異なる態様で表示画像Ｉｓ上に表示する。そのため、オペレータは、表示画像Ｉｓによって、第２レベルの領域の存在に容易に気付くことができる。また、表示画像Ｉｓは、作業車両１の周囲の実際の地形を反映した３次元投影モデルＭ１に投影されている。そのため、第２レベルと判定された領域を実際の地形に近い形状で、表示画像Ｉｓに表現することができる。

コントローラ２０は、点群密度の警告条件を満たす領域を第２レベルと判定して、第１レベルの領域と異なる態様で表示画像Ｉｓに表示する。ここで、各点の間の範囲は、形状センサ２１による計測がなされていない部分であるため、各領域の線分L1(i), L2(i), L3(i)の長さが長いほど、形状センサ２１による計測がなされていない範囲が大きいことを意味する。そのため、図１０（Ａ）に示すように、点Piと点Pi+1との間に急な傾斜が存在していても、形状センサ２１によって計測できない場合があり得る。

本実施形態に係る表示システム２では、ある領域において、線分の長さL1(i), L2(i), L3(i)のうち少なくとも１つが閾値k×Lcよりも長いときには、当該領域を第２レベルと判定する。そのため、十分な点群の密度が得られていない領域を第２レベルと判定することができる。従って、形状センサ２１から大きく離れているために十分な点群の密度が得られていない領域を、第２領域と判定することができる。或いは、地形によってレーザーが遮られているために、正確な地形が測定できない領域を第２レベルと判定することができる。

閾値k×Lcは、履帯１１の長さから規定される。もし、計測できていない領域が、履帯１１の長さから規定される閾値k×Lcよりも長い場合には、当該領域に凹地形が存在すると、作業車両１の傾きが上限傾斜角θmaxを越える可能性がある。本実施形態に係る表示システム２では、そのような領域を第２レベルと判定して、第１レベルの領域と異なる態様で表示画像Ｉｓ上に表示することができる。

コントローラ２０は、傾斜の警告条件を満たす領域を第２レベルと判定して、第１レベルの領域と異なる態様で表示画像Ｉｓに表示する。そのため、例えば図１０（Ｂ）に示すように、作業車両１に許容される上限傾斜角θmaxを越える急な傾斜のある領域を第２レベルと判定して、第１レベルの領域と異なる態様で表示画像Ｉｓ上に表示することができる。

コントローラ２０は、判定の対象とする領域の傾斜角だけではなく、その周囲の所定範囲A1(i)に含まれる他の領域の傾斜角を合わせた平均によって、対象とする領域を評価する。それにより、形状センサ２１からの距離や地形によって点群密度が変化する影響を緩和して、精度よく評価を行うことができる。

コントローラ２０は、起伏の警告条件を満たす判定領域A2(i)を第２レベルと判定して、第１レベルの判定領域と異なる態様で表示画像Ｉｓに表示する。起伏の大きい地形では、当該地形に含まれる点の高さの変化が激しくなる。そのため、コントローラ２０は、ある判定範囲A2(i)での各点の高さの分散によって、判定範囲A2(i)の起伏の激しさを評価する。それにより、例えば図１０（Ｃ）に示すように、起伏の大きな領域を第２レベルと判定して、第１レベルの領域と異なる態様で表示画像Ｉｓ上に表示することができる。

なお図９に示す表示画像Ｉｓは、作業車両１の右前方から見た視点で生成された映像であるが、コントローラ２０は、任意に視点を変更して、表示画像Ｉｓを生成してもよい。コントローラ２０は、例えばオペレータの操作に応じて、視点を切り換えてもよい。それにより、作業車両１の周囲環境のうちオペレータが特に視認したい部分を見えるように、表示画像Ｉｓを生成することができる。

以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

作業車両１は、ブルドーザに限らず、ホイールローダ、油圧ショベル、ダンプトラックなどの他の種類の車両であってもよい。作業車両１は、作業車両１の外部に配置されたコントローラ２０から遠隔操作される車両であってもよい。その場合、図１１に示す作業車両１００のように、運転室が車両本体３から省略されてもよい。なお、図１１では、図１に示す作業車両１に対応する部分に同じ符号を付している。或いは、作業車両１は、作業車両１に搭載される運転室内のオペレータによって直接的に操作される車両であってもよい。

カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。

姿勢センサ２２は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ２３は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。形状センサ２１は、ライダに限らず、レーダー等の他の測定装置であってもよい。

第２実施形態において、警告条件の一部が省略、或いは変更されてもよい。或いは、他の警告条件が追加されてもよい。警告条件の内容が変更されてもよい。領域の評価は、第１レベルと第２レベルとの２段階に限らず、より多くのレベルでの評価であってもよい

１，１００作業車両
１１履帯
２１形状センサ
２０コントローラ
２２姿勢センサ
Ｃ１−Ｃ４カメラ
Ｉｓ表示画像
Ｍ１３次元投影モデル

Claims

作業車両の周囲環境の画像を撮影し、前記画像を示す画像データを出力するカメラと、
前記周囲環境の３次元形状を測定し、前記３次元形状を示す３Ｄ形状データを出力する形状センサと、
前記画像データと前記３Ｄ形状データとを取得するコントローラと、
を備え、
前記コントローラは、
前記３Ｄ形状データに基づいて前記周囲環境の前記３次元形状を表現する３次元投影モデルを生成し、
前記画像データに基づいて前記３次元投影モデルに前記画像を投影することで、前記作業車両の周囲環境の表示画像を示す表示画像データを生成する、
作業車両の表示システム。
前記形状センサは、前記周囲環境上の複数点の位置を測定し、
前記３Ｄ形状データは、前記複数点の位置を示す、
請求項１に記載の作業車両の表示システム。
前記３次元投影モデルは、前記複数点のうち隣接する点を結んだポリゴンを含む、
請求項２に記載の作業車両の表示システム。
前記形状センサは、前記周囲環境の３次元形状について周期的測定を行い、
前記コントローラは、
前記周期的測定に伴い前記３Ｄ形状データを更新し、
更新された前記３Ｄ形状データに基づいて、前記３次元投影モデルを生成する、
請求項１に記載の作業車両の表示システム。
前記作業車両の姿勢を検出し、前記姿勢を示す姿勢データを出力する姿勢センサをさらに備え、
前記コントローラは、
前記姿勢データを取得し、
前記作業車両を示す車両画像を前記表示画像に合成し、
前記姿勢データに応じて、前記表示画像上の前記車両画像の姿勢を変化させる、
請求項１に記載の作業車両の表示システム。
前記コントローラは、
前記３Ｄ形状データに基づいて前記周囲環境に含まれる複数の領域の評価を行い、
前記表示画像において、前記評価に応じた態様で、前記複数の領域のそれぞれを表示する、
請求項１に記載の作業車両の表示システム。
前記コントローラは、
前記複数の領域のそれぞれの傾斜角を取得し、
前記傾斜角に基づいて前記複数の領域のそれぞれを評価する、
請求項６に記載の作業車両の表示システム。
前記コントローラは、
前記複数の領域のそれぞれの傾斜角と所定の閾値とを比較し、
前記閾値以下の傾斜角を有する領域と、前記閾値よりも大きな傾斜角を有する領域とを異なる態様で前記表示画像に表示する、
請求項７に記載の作業車両の表示システム。
前記コントローラは、
前記複数の領域のうち対象とする領域の傾斜角と、前記対象とする領域の周囲の所定範囲に含まれる他の領域の傾斜角との平均を算出し、
前記傾斜角の平均に基づいて前記対象とする領域を評価する、
請求項７に記載の作業車両の表示システム。
前記コントローラは、
前記複数の領域のぞれぞれに含まれる複数点の高さを取得し、
前記複数点の高さの分散を算出し、
前記分散に基づいて前記複数の領域のそれぞれを評価する、
請求項６に記載の作業車両の表示システム。
前記コントローラは、
前記分散と所定の閾値とを比較し、
前記閾値以下の分散を有する領域と、前記閾値よりも大きな分散を有する領域とを異なる態様で前記表示画像に表示する、
請求項１０に記載の作業車両の表示システム。
前記形状センサは、前記周囲環境上の複数点の位置を測定し、
前記３Ｄ形状データは、前記複数点の位置を示し、
前記コントローラは、
前記３Ｄ形状データに基づいて、前記複数点を結んだ線分で囲まれた複数の領域を定義し、
前記複数の領域のそれぞれについて、前記線分の長さを算出し、
前記線分の長さに基づいて、前記複数の領域をそれぞれ評価し、
前記表示画像において、前記評価の結果に応じた態様で、前記複数の領域をそれぞれ表示する、
請求項１に記載の作業車両の表示システム。
前記コントローラは、
前記線分の長さを所定の閾値と比較し、
前記閾値より大きい線分を含む領域と、前記閾値より大きい線分を含まない領域とを異なる態様で前記表示画像に表示する、
請求項１に記載の作業車両の表示システム。
前記作業車両は履帯を含み、
前記閾値は、前記履帯の長さに基づいて規定される、
請求項１３に記載の作業車両の表示システム。
作業車両の周囲環境の表示画像を示す表示画像データを生成するためにコントローラによって実行される生成方法であって、
前記作業車両の周囲環境の画像を示す画像データを取得することと、
前記周囲環境の３次元形状を示す３Ｄ形状データを取得することと、
前記３Ｄ形状データに基づいて前記周囲環境の前記３次元形状を表現する３次元投影モデルを生成することと、
前記画像データに基づいて前記３次元投影モデルに前記画像を投影することで、前記表示画像データを生成すること、
を備える生成方法。