JP2019168996A - 作業車両の周囲監視システム - Google Patents

作業車両の周囲監視システム Download PDF

Info

Publication number
JP2019168996A
JP2019168996A JP2018057041A JP2018057041A JP2019168996A JP 2019168996 A JP2019168996 A JP 2019168996A JP 2018057041 A JP2018057041 A JP 2018057041A JP 2018057041 A JP2018057041 A JP 2018057041A JP 2019168996 A JP2019168996 A JP 2019168996A
Authority
JP
Japan
Prior art keywords
alarm
work vehicle
work
area
surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018057041A
Other languages
English (en)
Inventor
優一朗 勝山
Yuichiro Katsuyama
優一朗 勝山
啓範 石井
Keihan Ishii
啓範 石井
舜 辻村
Shun Tsujimura
舜 辻村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2018057041A priority Critical patent/JP2019168996A/ja
Publication of JP2019168996A publication Critical patent/JP2019168996A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】必要十分な注意喚起が可能な、作業車両の周囲監視技術を提供する。【解決手段】作業車両320の作業状態および作業位置を作業車両データ210として管理する管理端末と、自車両310の周囲の検出領域520内の環境データを取得する周囲環境取得装置110と、環境データおよび作業車両データ210に基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラ120と、コントローラ120からの警報出力指示に従って警報を出力する出力装置130と、を備え、コントローラ120は、環境データに基づき、周囲物体460を検出し、作業車両データ210の作業状態が予め定めた作業中である作業車両320の作業位置に基づいて非警報領域530を決定し、非警報領域530外に周囲物体460が検出された場合、警報出力指示を行う。【選択図】図3

Description

本発明は、作業車両の周囲監視技術に関する。特に、障害物を検出した際の警告出力技術に関する。
周囲監視において、過剰な警告を抑える技術がある。例えば、特許文献1には、「警告領域設定部と警告部とを備え、警告領域設定部は、ダンプトラックの走行状態に応じて、障害物の存在を運転者に警告する必要のある警告領域を設定する。警告部は、8台のレーダ装置のうち少なくとも1つのレーダ装置によって検知された障害物の相対位置が警告領域内に位置することを運転者に警告する(公開公報要約抜粋)。」周囲監視装置が開示されている。
特許第5722127号公報
しかしながら、特許文献1に開示の周囲監視装置では、設定された警報領域内においては、全ての検出物体に対して報知がなされるため、作業上の必要性から接近している物体に対しても報知がなされる場合がある。例えば、作業車両が積荷の積載を受けるために積込機へ接近する場合等である。このような検出物体に対しては、本来は、注意喚起は不要であり、特許文献1に開示の技術では、不要な警告を、十分に抑制しきれていない。従って、作業車両の周囲の情報を、必要十分な注意喚起を行いつつ、わかりやすく伝えることができていない。
本発明は、上記の状況に鑑みてなされたものであり、必要十分な注意喚起が可能な、作業車両の周囲監視技術を提供することを目的とする。
本発明は、予め定めた管理領域内の各作業車両の作業状態および作業位置を作業車両データとして管理する管理端末と、前記作業車両のうちの1の作業車両である自車両に装着されて、当該自車両の周囲の検出領域内の環境データを取得する周囲環境取得装置と、前記環境データおよび前記作業車両データに基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラと、前記コントローラからの警報出力指示に従って警報を出力する出力装置と、を備え、前記コントローラは、前記環境データに基づき、前記検出領域内に存在する周囲物体を検出し、前記作業車両データの前記作業状態が予め定めた作業中である前記作業車両の前記作業位置に基づいて前記検出領域内の非警報領域を決定し、前記検出領域内の非警報領域外に前記周囲物体が検出された場合、前記警報出力指示を行うことを特徴とする。
本発明によれば、作業車両の周囲監視において、必要十分な注意喚起が可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の第1の実施形態による周囲監視システムの概略構成を示す図。 本発明の第1の実施形態による周囲監視システムが搭載される作業車両を模式的に示した斜視図。 本発明の第1の実施形態による周囲監視システムの一構成例を示すブロック図。 (a)は、本発明の第1の実施形態による管理端末のハードウェア構成図。(b)は、本発明の第1の実施形態による作業車両データの一例を説明する図。 本発明の第1の実施形態による路面上の視野範囲と検出領域との関係を説明する図。 本発明の第1の実施形態によるコントローラの各部の処理のフローチャート。 (a)〜(e)は、本発明の第1の実施形態による合成画像の一例を説明する図。 本発明の第1の実施形態によるコントローラのハードウェア構成図。 (a)〜(c)は、周囲物体検出法の一例を説明する図。 本発明の第1の実施形態による非警報領域設定処理のフローチャート。 本発明の第1の実施形態による非警報領域の一例を説明する図。 本発明の第1の実施形態による出力設定生成処理のフローチャート。 本発明の第1の実施形態による出力画像例を示す図。 本発明の第2の実施形態による周囲監視システムの一構成例を示すブロック図。 (a)および(b)は、本発明の第2の実施形態による設定画面例を示す図。 本発明の変形例2による周囲監視システムの一構成例を示すブロック図。 (a)および(b)は、本発明の変形例3による非警報領域設定手法を説明する図。 本発明の変形例3による出力設定処理のフローチャート。
以下、図面を参照して本発明の実施形態による作業機械の周囲監視システムについて説明する。以下、本明細書では、同一機能を有するものは、特に断らない限り、同一の符号を付し、繰り返しの説明は省略する。
<<第1の実施形態>>
本発明の第1の実施形態の作業車両の周囲監視システムについて説明する。本実施形態では、鉱山での作業等に用いられるダンプトラックに周囲監視システムを搭載した場合について説明する。
図1は、本実施形態による周囲監視システム100の概要を説明するための図である。本図に示すように、本実施形態の周囲監視システム100が用いられる鉱山では、自動車320a、ショベル320b、ダンプトラック(310、320c)等の各作業車両と、管理センタ330に配置された端末とが無線通信を介してデータの送受信を行う。なお、以下、本実施形態において、各作業車両について、それぞれ区別する必要がない場合は、作業車両320で代表する。
各作業車両320は、複数の航法衛星340から航法信号を受信するGNSSセンサを搭載し自車の位置(自車位置)を算出する。そして、算出した自車位置と作業状態とを、管理センタ330の端末に送信する。
管理センタ330の端末では、予め定めた管理領域である鉱山内の各作業車両320の作業状態、位置(各作業車両の自己位置)等を含む作業車両情報(作業車両データ)を管理する。なお、本実施形態の周囲監視システム100は、管理センタ330の端末が管理する作業車両320の中の、少なくとも1つの作業車両320に搭載される。本実施形態では、上述のように、ダンプトラック310に搭載される場合を例にあげて説明する。
なお、作業車両320は、上記例の他、他の運搬車両、散水車、グレーダ等、種類を問わない。
図2は、本実施形態の周囲監視システム100を搭載するダンプトラック310を模式的に示した全体斜視図である。
ダンプトラック310は、前面上部に運転室311を備える。運転室311の前方に、ダンプトラック310の前方を撮影する前方カメラ112が設けられている。ダンプトラック310の左側面、たとえばダンプトラック310の左方前輪313aの上方には、ダンプトラック310の左方を撮影する左方カメラ113が設けられている。ダンプトラック310の後部、荷台312の下には、ダンプトラック310の後方を撮影する後方カメラ114が設けられている。ダンプトラック310の右側面、たとえばダンプトラック310の右方前輪313bの上方には、ダンプトラック310の右方を撮影する右方カメラ115が設けられている。
前方カメラ112、左方カメラ113、後方カメラ114、および右方カメラ115は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面(路面)を主に撮影するために所定の俯角をつけて設置されている。
図2には、さらに、前方カメラ112、左方カメラ113、後方カメラ114および右方カメラ115により撮影された画像の一例が図示されている。
前方画像412は、前方カメラ112により撮影される画像の一例である。左方画像413は、左方カメラ113により撮影される画像の一例である。後方画像414は、後方カメラ114により撮影される画像の一例である。右方画像415は、右方カメラ115により撮影される画像の一例である。
[周囲監視システム]
次に、本実施形態の周囲監視システム100について説明する。図3は、本実施形態による周囲監視システム100のブロック図である。本実施形態の周囲監視システム100は、周囲環境取得装置110と、コントローラ120と、出力装置130と、管理端末140と、通信装置150と、GNSSセンサ160と、データ記憶装置180と、速度センサ190と、を備える。
周囲環境取得装置110と、コントローラ120と、出力装置130と、通信装置150と、GNSSセンサ160と、データ記憶装置180と、速度センサ190と、は、ダンプトラック310に設けられる。管理端末140は、例えば、管理センタ330等に設けられる。
管理端末140は、ダンプトラック310が稼働する鉱山(管理領域)内に存在する少なくとも1台の作業車両320に関する作業車両データ210を管理する。そして、通信装置150を介したコントローラ120からの要求に応じて、作業車両情報(作業車両データ210)を、通信装置150に出力する。
管理端末140は、図4(a)に示すように、CPU141とRAM142と記憶装置143と、入出力インタフェース144と、通信インタフェース145と、を備える。作業車両データ210は、記憶装置143に記憶される。
ここで、管理端末140が管理する作業車両データ210について説明する。図4(b)は、作業車両データ210の一例である。本図に示すように、作業車両データ210は、管理する各作業車両320について、識別情報(ID)211と、機種212と、作業状態213と、位置214と、存在領域215と、を管理する。
ID211には、各作業車両320を一意に特定する情報が登録される。機種212には、例えば、ダンプトラック、ショベル、ホイールローダ、自動車等、作業車両320の種別が登録される。これらの情報は、例えば、入出力インタフェース144または通信インタフェース145を介して予め登録される。
作業状態213には、作業車両320の状態を示す情報が登録される。本実施形態では、例えば、掘削中、積込中、走行中、停止中等が登録される。作業状態213は、所定の時間間隔で、各作業車両320から通信インタフェース145を介して取得し、更新される。図3は周囲監視システム100を搭載したダンプトラック310を示すが、監視対象となる同じ構成のダンプトラック320cの作業状態を説明するため、同じ図3を用いる。作業状態213を取得するために、走行中か停止中かの状態を取得する速度センサ190以外にも、荷台312の積載状態を取得する荷重センサ200や、荷台312の昇降状態を取得するために図示しないホイストシリンダに圧力センサ201などが設けられていれば、より詳細な作業状態を取得することができる。
位置214は、作業車両320の位置の情報である。作業車両320のうち、GNSSセンサ160等を備え、自己位置算出機能を有する作業車両320が送信する、所定の時間間隔で算出した情報を、通信インタフェース145を介して受信して登録する。
存在領域215は、作業車両320が存在する領域の情報である。存在する領域とは、作業車両320を水平面(路面)上に射影した際に、水平面上の作業車両320に対応する領域である。本実施形態では、当該領域を特定可能な緯度、経度情報が登録される。
存在領域215は、各作業車両320側で、自身の位置、向き、サイズ等の情報を用いて算出して管理端末140に送信してもよいし、管理端末140側で算出してもよい。管理端末140側で算出する場合、管理端末140は、例えば、機種毎のサイズ(幅、長さ等)の情報を保持し、作業車両320から送信される位置214および向きの情報を用いて、存在領域215を算出する。存在領域215として算出される領域が、例えば、多角形領域の場合、各頂点の緯度経度が存在領域215として登録される。
例えば、予め作業位置がわかっている作業車両320であれば、存在領域215は、入出力インタフェース144を介して入力されてもよい。
周囲環境取得装置110は、ダンプトラック310に装着されて、自車両の周囲の予め定めた領域内の、ダンプトラック310の周囲に関する情報(環境データ)を取得し、コントローラ120に出力する。
本実施形態では、周囲環境取得装置110は、前方カメラ112と、左方カメラ113と、後方カメラ114と、右方カメラ115とを有する。そして、それぞれのカメラにより前方画像412、左方画像413、後方画像414、右方画像415を含むダンプトラック310の周囲の画像(周囲画像)412〜415(図2参照)を、所定のフレームレートで順次取得し、環境データとして出力する。
以下、各カメラを区別する必要がない場合は、カメラ111で代表する。また、同様に、各周囲画像を区別する必要がない場合は、周囲画像411で代表する。なお、周囲画像411は、各カメラ111で取得したスルー画像である。
各カメラ111の、路面上の視野範囲と検出領域との関係を図5に示す。本図に示すように、前方カメラ112は、前方視野範囲512を、左方カメラ113は、左方視野範囲513を、後方カメラ114は、後方視野範囲514を、右方カメラ115は、右方視野範囲515を、それぞれ視野に持つ。図中では、各視野範囲を矩形で例示しているが、視野範囲は矩形に限定されない。
各視野範囲について、視野範囲内の各位置に対応する各カメラ111の画素位置は、予め対応づけて、データ記憶装置180等に登録される。なお、視野範囲の各位置は、車両座標系で示される。車両座標系は、図5に示すように、ダンプトラック310の重心を原点Oとし、路面に平行な面上において、ダンプトラック310の前後方向の車軸方向をy軸方向、y軸方向に直交する方向をx軸方向とする右手座標系である。
路面上の、各視野範囲で覆われる領域が、ダンプトラック310の周囲画像411を取得可能な領域であり、周囲環境取得装置110の検出領域520である。
通信装置150は、管理端末140と、無線LANなどの通信網を経由して通信を行う。通信装置150は、管理端末140から取得した情報を、コントローラ120に出力する。本実施形態では、上述の作業車両データ210を取得し、コントローラ120に出力する。
GNSSセンサ160は、複数の航法衛星340から航法信号を取得する。GNSSセンサ160は、取得した航法信号を、コントローラ120に出力する。
速度センサ190は、ダンプトラック310の速度を検出し、コントローラ120に出力する。速度センサ190には、例えば、走行モータまたは車軸の回転数を検出するセンサが用いられる。
コントローラ120は、周囲環境取得装置110と、通信装置150と、GNSSセンサ160とから入力されたデータに対し、演算を施し、出力装置130に出力する。
本実施形態では、コントローラ120は、周囲環境取得装置110が取得した環境データから、検出領域520内に存在する障害物を周囲物体として検出する。また、管理端末140で管理される作業車両データ210に基づき、非警報領域を決定する。そして、検出領域520内の非警報領域外で周囲物体が検出された場合、警報を出力する警報出力指示を出力装置130に出力する。
出力装置130は、出力設定部124から取得した警報出力指示に基づいて、ダンプトラック310の運転者(オペレータ)へ、ダンプトラック310の周囲の状況を伝える。本実施形態の出力装置130は、例えば、モニタ131およびブザー132を含む。モニタ131およびブザー132は、例えば、ダンプトラック310の運転室311内に設置される。
データ記憶装置180には、ダンプトラック310の各部に関するデータ、各カメラ111の位置、視野範囲等のデータ等が記憶される。カメラ111の位置、視野範囲等のデータは、例えば、ダンプトラック310の車両座標系で記憶される。この対応情報を介して、車両座標系で管理される実空間の位置情報と、カメラ画像内の画素位置とを対応づけることができる。
また、モニタ131に表示するダンプトラック310や作業車両320のイラストデータ(後述するアイコン画像430等)も、データ記憶装置180に保持される。
[コントローラ]
次に、コントローラ120の詳細を説明する。本実施形態のコントローラ120は、図3に示すように、周囲物体検出部121と、自己位置演算部122と、非警報領域設定部123と、出力設定部124と、出力画像生成部125と、を備える。
以下、各部の処理の詳細および流れを、図6に沿って説明する。
周囲物体検出部121は、周囲環境取得装置110から取得した周囲画像411に基づいて、ダンプトラック310の周囲(検出領域520内)に存在する障害物(周囲物体)を検出する。検出する周囲物体は、例えば、作業員、自動車、および、ショベル、ホイールローダ等の作業車両である。
また、本実施形態の周囲物体検出部121は、周囲物体が検出された場合、その存在領域(周囲物体領域)を特定する。そして、検出された周囲物体領域の情報を含む周囲物体情報221を、出力設定部124に送信する。
本実施形態では、周囲物体を、周囲画像411を用いて検出する。従って、周囲物体領域は、各周囲画像411の画素領域として得られる。複数の周囲物体が検出された場合は、周囲物体毎の周囲物体領域が周囲物体情報221として送信される。
図6に示すように、周囲物体検出部121は、周囲画像411を取得し(ステップS611)、周囲画像411から周囲物体を検出する(ステップS612)。そして、周囲物体が検出された場合、その周囲物体領域の情報を、周囲物体情報221として、出力設定部124に送信する(ステップS613)。
自己位置演算部122は、GNSSセンサ160から取得した複数の航法信号に基づいて、ダンプトラック310の位置(自己位置)212を演算する。自己位置演算部122は、算出した自己位置222を非警報領域設定部123に送信する。なお、自己位置222は、例えば、ダンプトラック310の重心の緯度経度で得られる。
図6に示すように、自己位置演算部122は、まず、航法信号を取得する(ステップS621)。そして、取得した航法信号から、自己位置を算出する(ステップS622)。算出した自己位置222を、非警報領域設定部123に送信する(ステップS623)。
非警報領域設定部123は、通信装置150から取得した作業車両データ210と自己位置演算部122から取得したダンプトラック310の自己位置222とに基づいて、非警報領域530を決定し、設定する。そして、非警報領域設定部123は、決定した非警報領域530を、領域設定情報223として出力設定部124に送信する。
非警報領域530は、周囲物体が存在したとしても、出力装置130から警報を出力しない領域である。警報を出力するとは、ダンプトラック310の運転者に対し、出力装置130での表示や警報音鳴動を通じて、積極的にダンプトラック310の周囲の状況を知らせる事を指す。
本実施形態では、警報対象領域内で、掘削中または積込中の、ショベルやホイールローダなどの存在領域を、非警報対象領域とする。具体的には、非警報領域設定部123は、機種212については、ショベルやホイールローダなどの積込機を、作業状態213については掘削中および積込中を、存在領域215と自己位置222との距離としては、ダンプトラック310の走行状態に応じた制動距離もしくは構造的に死角となる範囲を、非警報対象領域とする。
図6に示すように、非警報領域設定部123は、通信装置150から作業車両データ210を取得し(ステップS631)、自己位置演算部122から自己位置222を取得する(ステップS632)。作業車両データ210の取得と、自己位置222の取得とは、いずれが先であってもよい。そして、両者を用いて、非警報領域を決定し(ステップS633)、領域設定情報223として、出力設定部124に送信する(ステップS634)。なお、非警報領域に設定すべき領域が無い場合は、設定領域無しとの情報を、領域設定情報223として出力設定部124に送信する。
出力画像生成部125は、周囲画像411から、出力装置130のモニタ131に表示する画像(合成画像)を生成する。生成した合成画像は、出力設定部124に出力する。
本実施形態では、図7(a)〜図7(e)に示すように、各周囲画像411から、抽出領域421(前方抽出領域422、左方抽出領域423、後方抽出領域424、右方抽出領域425)を切り取り、所定の画像領域に配置し、中央に、ダンプトラック310を示すアイコン画像430を配置して合成し、合成画像440を生成する。
図6に示すように、周囲画像411を取得し(ステップS661)、合成画像440を生成し(ステップS662)。出力設定部124に送信する(ステップS663)。なお、出力装置130において、警報出力として、ブザー132からの音声のみとする場合は、合成画像440は不要である。この場合、出力画像生成部125は、備えなくてもよい。
出力設定部124は、周囲物体検出部121から取得した周囲物体情報221および非警報領域設定部123から取得した領域設定情報223に基づいて、出力装置130での表示や警報音鳴動の形態に関する出力設定224を設定する。出力設定部124は、設定した出力設定224を出力装置130に出力する。
コントローラ120は、図8に示すように、CPU101と、RAM102と、ROM103と、入出力インタフェース104と、を有するコントローラ、情報処理装置等で実現される。コントローラ120は、CPU101がROM103等に予め記憶されたプログラムをRAM102にロードして実行することにより、周囲物体検出部121、自己位置演算部122、非警報領域設定部123、出力設定部124および出力画像生成部125の各部の機能を実現する。また、GNSSセンサ160、通信装置150、周囲環境取得装置110からのデータは、入出力インタフェース104を介して入力される。また、出力装置130へは、入出力インタフェース104を介して出力される。
なお、データ記憶装置180に記憶されるデータは、ROM103内に記憶されてもよい。
以下、各部の処理の詳細を説明する。
まず、上記ステップS612の、周囲物体検出部121による周囲物体検出処理の一例を説明する。
周囲物体検出部121は、例えば、公知の画像差分法(オプティカルフロー法)に従って、時間的に連続する2つのフレーム(以下、現フレームと前フレームと呼ぶ。)の比較により求められる動きベクトルに基づいて、周囲物体およびその画素領域として周囲物体領域を検出する。検出は、各周囲画像411について行う。
右方画像415を用いて、検出する場合を例に、図9(a)〜図9(c)を用いて検出手法を説明する。
図9(a)には、前フレーム415aを、図9(b)には、現フレーム415bをそれぞれ示す。前フレーム415aには、自動車の像451が、右方抽出領域425の右端近傍に存在する。前フレーム415a取得時から現フレーム415b取得時までのΔt間に、自動車は移動し、現フレーム415bでは、自動車の像451は、右方抽出領域425の中央近傍に存在する。
周囲物体検出部121は、前フレーム415aおよび現フレーム415bを、それぞれ、小領域に分割する。そして、前フレーム415aの各小領域に対し、現フレーム415bにおける同一または周辺の位置の小領域との相関演算を行う。周囲物体検出部121は、それらの相関演算の結果に基づいて、前フレーム415aの小領域ごとにそれぞれに最も相関が高い現フレーム415bの小領域を検出する。
周囲物体検出部121は、前フレーム415aの小領域と、その小領域と最も相関が高い現フレーム415bの小領域との位置関係を表す動ベクトル、すなわち、前フレームの各小領域の画像がそれぞれΔtの間にどの方向にどれだけ移動したかを示すベクトルを前フレームの小領域ごとに算出する。
周囲物体検出部121は、動ベクトルの方向と大きさが同一または類似である小領域には同一の移動物体の像が含まれていると判断し、それらの小領域を統合し、移動物体像の画素領域として検出する。
なお、前フレームの各小領域に対し現フレームにおける同一または周辺の位置の小領域との相関演算を行う際、前フレームの各小領域に対して動ベクトルが算出されている場合は、その動ベクトルに基づいてその相関演算の対象とする現フレームの小領域の範囲を設定することにしてもよい。たとえば、動ベクトルによって指定された現フレームの小領域とその周辺の小領域との相関演算を行うことにしてもよい。
図9(c)に、上記手法で、自動車の像451が周囲物体460として検出された場合の周囲物体領域461(画素領域)を示す。
なお、周囲物体の検出は、例えば、パターン認識により行ってもよい。検出領域内で検出される可能性のある物体のパターンを、予めデータ記憶装置180に記憶しておく。そして、周囲物体検出部121は、記憶しているパターンに合致する領域があれば、当該領域を、周囲物体として検出する。
次に、上記ステップS633の、非警報領域設定部123による非警報領域設定手法の詳細を説明する。図10は、本実施形態の非警報領域設定処理のフローチャートである。
非警報領域設定部123は、まず、作業車両データ210の中から、予め定めた機種212に該当するレコードが有るか否かを判別する(ステップS671)。本実施形態では、上述のように、機種212が積込機であるレコードが記憶されているか否かを判別する。
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、予め定めた機種212に該当するレコードがある場合は、そのレコードを抽出する(ステップS672)。
そして、抽出したレコードの中から、作業状態213として、予め定めた項目が登録されているレコードがあるか否かを判別する(ステップS673)。本実施形態では、上述のように、掘削中または積込中と登録されているレコードがあるか否かを判別する。
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、作業状態213に上記状態が登録されているレコードがある場合は、そのレコードを抽出する(ステップS674)。
次に、非警報領域設定部123は、抽出されたレコードの中に、位置214が、所定範囲内のレコードがあるか否かを判別する(ステップS675)。本実施形態では、例えば、制動距離範囲内、または、死角範囲内であるレコードが有るか否かを判別する。
なお、死角範囲とする領域は、ダンプトラック310毎に、ダンプトラック310の車両座標系で、予め定め、データ記憶装置180に登録しておく。制動距離範囲は、ダンプトラック310の速度に応じて変化する。非警報領域設定部123は、速度センサ190から取得した速度に、予め定めた係数を乗算し、制動距離範囲の長さを算出する。そして、制動距離範囲の幅は、例えば、ダンプトラック310の横幅に所定の余裕を持たせて設定する。係数、余裕値等は、予めデータ記憶装置180に記憶しておく。
なお、制動距離範囲または死角範囲内であるかを判別する際、非警報領域設定部123は、自己位置222を用いて、位置214を車両座標系の値に変換し、変換後の車両座標系での位置214を用いて、制動距離範囲または死角範囲であるかを判別する。
該当レコードが無い場合は、そのまま処理を終了する。すなわち、非警報領域を設定せず、処理を終了する。一方、位置214が制動距離範囲内または死角範囲内のレコードがある場合は、非警報領域設定部123は、そのレコードを特定する(ステップS676)。そして、特定したレコードの存在領域215を、非警報領域に設定し(ステップS677)、処理を終了する。このとき、存在領域215を特定する各座標値も、自己位置222を用いて、車両座系の値に変換する。
なお、機種、作業状態、位置の判別順は、上記順序に限らない。
図11に、ここで設定される非警報領域530の例を示す。ここでは、機種212がショベルで、作業状態213が積込中の作業車両320の存在領域215が、非警報領域530と設定された場合を例示する。
次に、出力設定部124による出力設定224を生成する出力設定生成処理の詳細を説明する。図12は、出力設定生成処理のフローチャートである。
出力設定部124は、まず、検出された周囲物体460があるか否かを判別する(ステップS681)。周囲物体460がなければ、警報は出力しない(警報出力無)と出力設定224を生成し(ステップS682)、処理を終了する。
次に、検出された周囲物体460が有る場合、非警報領域530が設定されているか否かを判別する(ステップS683)。非警報領域530が設定されていない場合、警報出力指示を生成し(ステップS685)、出力設定224とし、処理を終了する。
非警報領域530が設定されている場合、全ての周囲物体460が非警報領域530内にあるか否かを判別する(ステップS684)。全ての周囲物体460が非警報領域530内に有る場合、その周囲物体460は、警報不要と判定する。従って、出力設定部124は、ステップS682へ移行する。
一方、非警報領域530外の周囲物体460が有る場合、その周囲物体460は、警報要と判定し、ステップS685へ移行する。
ここで、周囲物体460が非警報領域530内であるか否かは、周囲物体領域461に対応する路面上の領域を特定し、その領域が非警報領域530内であるか否かにより判別する。
出力設定部124により生成される警報出力指示は、以下の通りである。
出力装置130が、ブザー132のみである場合、警報出力指示として、音声を出力する指示を生成する。
一方、出力装置130がモニタ131を含む場合、警報出力指示として、出力画像を生成する。本実施形態では、出力画像生成部125が生成した合成画像440上の、警報要と判定された周囲物体460に、警報表示を重畳して表示するよう出力設定224を行う。このとき、非警報領域530に対応する画素領域も明示する。ただし、出力画像上で、非警報領域内と非警報領域外とで、検出された周囲物体460を異なる態様で表示させる。
この場合に生成される出力画像例710の例を、図13に示す。ここでは、非警報領域530内および非警報領域530外の両方に周囲物体460が検出された場合を例示する。
非警報領域530外で検出された周囲物体460aの周囲物体領域461aには、実線枠711を重畳し、警報表示を行う。一方、非警報領域530内の周囲物体460bの周囲物体領域461bには、点線枠712が付与される。なお、実線枠711、点線枠712は、それぞれ、周囲物体領域461a、461bとして検出された範囲を囲むよう重畳させる。
警報は出力しないと出力設定された場合、ブザー132に対しては、警報音を出力する指示を行わない。また、モニタ131に対しては、出力画像生成部125が生成した出力画像(合成画像440)を、そのまま表示させるよう設定する。
以上説明したように、本実施形態の周囲監視システム100は、管理端末140で管理する作業車両データ210に基づいて、検出領域520内の非警報領域530を決定し、非警報領域外に周囲物体460が検出された場合、警報出力指示を行う。非警報領域内で周囲物体460が検出されても、警報出力は行わない。
このように、本実施形態によれば、積込作業中のショベル等、作業上の要求からダンプトラック310の周囲に存在する周囲物体460は、警報対象から除外される。従って、危険度が高い物体に対する警報へ影響を与える事なく、危険度が低い物体への警報が制限される。すなわち、必要十分な注意喚起を行うことができ、より分かり易く運転者へ作業車両周囲の状況を伝えることが可能となる。
また、カメラ111で取得した画像をモニタ131に表示する際、例えば、図13に示す様に、通常の周囲物体460aの周囲物体領域461に対応する画素領域に重畳する実線枠711と、非警報領域530内に存在する周囲物体460bの周囲物体領域461に対応する画素領域に重畳する点線枠712との表示態様を異ならせる。これにより、ダンプトラック310の運転者は、直感的に周囲の状況を把握する事が可能となる。
本実施形態によれば、作業機械の警報の要否の設定に応じた非警報領域の設定ができ、危険度の高い物体に対する警報に影響を与える事無く、危険度の低い物体に対する警報を制限する事ができる。
なお、上記実施形態では、非警報領域設定部123は、車両座標上で、非警報領域530を決定しているが、これに限定されない。データ記憶装置180に記憶されている対応付データを用いて、合成画像440の画像領域として、非警報領域を設定してもよい。
<<第2の実施形態>>
本発明に係る第2の実施形態を説明する。第1の実施形態では、非警報領域を、予め定めた基準に従って決定する。一方、本実施形態では、非警報領域の設定基準を、オペレータ(運転者)が設定する。
本実施形態の周囲監視システム100は、基本的に第1の実施形態と同様の構成を有する。ただし、上述のように、非警報領域設定の基準をオペレータが設定するため、これを実現する構成が異なる。以下、本実施形態について、第1の実施形態と異なる構成に主眼をおいて説明する。
図14は、本実施形態の周囲監視システム100の機能ブロック図である。本図に示すように、本実施形態の周囲監視システム100は、第1の実施形態の構成に加え、操作装置170を備える。
また、コントローラ120は、非警報基準設定部126をさらに備える。
本実施形態の操作装置170は、例えば、ダンプトラック310に設けられ、オペレータからの非警報物体とする基準(非警報基準)の入力を受け付ける。操作装置170は、例えば、モニタと入力装置とを備え、オペレータによる設定を受け付けてもよい。操作装置170は、例えば、タッチパネル等の表示と入力操作の受け付けを兼ねる装置であってもよい。また、入力装置は、例えば、オペレータからの指示を受け付ける物理スイッチであってもよい。
非警報基準設定部126は、操作装置170を介して受け付けた非警報物体とする基準を、非警報基準225として設定する。設定結果は、非警報領域設定部123に出力される。
非警報基準設定部126が、操作装置170のモニタに表示し、基準の設定を受け付ける画面(設定画面810)例を、図15(a)に示す。
本図に示すように、設定画面810は、条件項目である項目を入力する項目入力領域811と、条件を入力する条件入力領域812と、を備える。オペレータは、設定画面810を介して、所望の項目と条件とを入力する。非警報基準設定部126は、設定画面810を介して受け付けた基準を、非警報基準225として設定する。
なお、非警報基準設定部126は、作業車両データ210を設定画面810に表示し、特定のレコードの選択を受け付け、非警報基準255としてもよい。この場合、通信装置150を介して作業車両データ210を受信し、設定画面810に表示する。この場合、図15(b)に示すように、設定画面810に、受付欄である、非警報対象216欄が追加された作業車両データ210を表示し、オペレータからの選択を受け付ける。
非警報領域設定部123は、通信装置150から受信した作業車両データ210に、操作装置170から受信した非警報基準225を適用し、非警報領域530を決定する。非警報領域530の設定手法は、第1の実施形態と同様である。
その他の各部の処理も、通信装置150が、管理端末140から受信した作業車両データ210を、非警報領域設定部123と操作装置170とに出力する点、および、非警報領域設定部123が非警報領域530を設定する際、操作装置170から受信した非警報基準225を用いる点以外は、第1の実施形態と同様である。
なお、操作装置170のモニタは、出力装置130のモニタ131と兼用してもよい。
以上説明したように、本実施形態の周囲監視システム100は、第1の実施形態の構成に加え、さらに、操作装置170を有する。この操作装置170は、ダンプトラック310に設けられ、非警報領域設定部123は、操作装置170を介して入力された設定基準に従って非警報領域530を設定する。したがって、本実施形態によれば、ダンプトラック310のオペレータは、独自に、非警報領域の設定基準を設けたり、予め設定されている設定基準を変更したりできる。すなわち、オペレータは、警報の要否の基準を変更できる。
このように、本実施形態によれば、操作装置170をダンプトラック310に設ける事で、周囲監視システム100を用いる作業車両(ダンプトラック310)毎に、非警報領域の設定を変更する事ができる。
(変形例1)
上記各実施形態では、周囲環境取得装置110は、前方カメラ112、左方カメラ113、後方カメラ114、および右方カメラ115を備え、周囲物体検出部121は、これらのカメラ111で取得した周囲画像411を用いてダンプトラック310の周囲物体460を検出する。しかしながら、周囲環境取得装置110の構成、周囲物体検出部121の検出手法は、これに限定されない。
周囲環境取得装置110は、例えば、ミリ波レーダ等のレーダ装置、LIDAR(Laser Imaging Detection and Ranging)等の光学センサ、または、超音波センサ等を備えてもよい。周囲物体検出部121は、これらの周囲環境取得装置110が取得した環境データを用い、周知の手法によりダンプトラック310の周囲物体460を検出してもよい。
(変形例2)
また、上記各実施形態では、出力装置130のモニタ131に表示する表示画像は、基本的に周囲画像411を合成した画像である。しかしながら、表示画像は、これに限定されない。
例えば、周囲画像411から俯瞰画像を生成し、表示してもよい。俯瞰画像は、ダンプトラック310の上方の所定位置を視点(仮想視点)とする上方視点画像である。
この場合、周囲監視システム100のコントローラ120は、図16に示すように、各周囲画像411を座標変換し、俯瞰画像を生成する俯瞰画像生成部127をさらに備える。
俯瞰画像生成部127は、各方向のカメラ111で取得した各周囲画像411を、画像メモリに取り込む。そして、レンズの歪み補正等を行い、公知の画像変換処理を用いて、視点を変換し、上方視点画像を生成する。レンズに歪み補正は、一般的な座標変換により行ってもよいし、画像メモリに保存される各画素のアドレスを、補正前と補正後とで対応づけた画素変換テーブルを予め保持してもよい。また、公知の画像変換技術には、例えば、ホモグラフィ行列による平面射影変換処理、三次元空間での投影処理等がある。
ここで得られる各上方視点画像は、路面を仮想平面とした平面視画像である。俯瞰画像生成部127は、これらの上方視点画像を合成し、俯瞰画像を得る。合成にあたっては、ダンプトラック310のイラスト画像を中心とし、その周囲に、各上方視点画像を配置する。配置する際、各上方視点画像は、相互に重なり合わないよう切り出す。
各変換処理に必要なデータは、データ記憶装置180に記憶される。
なお、俯瞰画像生成部127は、事前の上方視点画像の各画素位置と、周囲画像411の画素位置とを対応づけたテーブルを作成し、テーブル参照により俯瞰画像を生成してもよい。これにより、小規模なLSIであっても、俯瞰画像を生成できる。
(変形例3)
また、上記各実施形態では、非警報領域設定部123は、警報不要とされた作業車両320の存在領域215を、非警報領域530として設定する。しかしながら、非警報領域530の設定は、これに限定されない。
例えば、検出領域520を、ダンプトラック310に対する方向および距離の少なくとも一方によって分割した分割領域の単位で設定してもよい。
図17(a)および図17(b)に、検出領域520が矩形の場合の例を用いて、本変形例を説明する。図中、521(a)、521(b)、521(c)、521(d)、521(e)、521(f)、521(g)、521(h)、521(i)、521(j)、521(k)、521(l)、521(m)、521(n)、521(o)、521(p)は、それぞれ、上記手法で分割した分割領域である。
非警報領域530は、上記の分割領域521(a)〜521(p)の内、警報不要とされた作業車両320の存在領域215が含まれる分割領域を非警報領域530として設定する。
各分割領域は、例えば、ダンプトラック310の車両座標系で特定される。非警報領域設定部123は、まず、自己位置222に対する存在領域215の相対位置を算出する。そして、算出した相対位置を用い、存在領域215の、車両座標系での位置を算出する。そして、当該位置を含む分割領域521を、非警報領域530と設定する。
例えば、上記例では、図17(b)に示すように、存在領域215は、分割領域521(c)および521(d)にまたがる。従って、分割領域521(c)および521(d)が、非警報領域530に設定される。
出力設定部124は、周囲物体検出部121が検出した周囲物体460のうち、非警報領域530内の周囲物体460については、警報不要と判定し、警報を出力しないよう出力設定を行う。
本変形例によれば、作業車両320の存在領域を精確に取得する事が困難な場合でも、適切に非警報領域を設定できる。
なお、このとき、非警報領域530であっても、警報不要とされた作業車両320以外の周囲物体460が検出された場合、当該周囲物体460については、警報要とし、警報出力を行うよう出力設定を行ってもよい。
この場合、非警報領域設定部123は、非警報領域設定処理のステップS676において特定したレコード(非警報レコード)を識別可能な態様で出力設定部124に出力する。
この場合の、出力設定部124による出力設定処理の流れを、図18に示す。
出力設定部124は、まず、検出された周囲物体460があるか否かを判別する(ステップS691)。周囲物体460がなければ、警報は出力しない(警報出力無)と出力設定し(ステップS692)、処理を終了する。
次に、検出された周囲物体460が有る場合、非警報領域530が設定されているか否かを判別する(ステップS693)。非警報領域530が設定されていない場合、警報出力処理を行い(ステップS695)、処理を終了する。
非警報領域530が設定されている場合、非警報領域530内に周囲物体460があるか否かを判別する(ステップS694)。非警報領域530内に周囲物体460が無い場合、周囲物体460は、全て非警報領域530外にある。従って、それらの周囲物体460は、全て警報要と判定し、警報出力処理を行い(ステップS695)、処理を終了する。
一方、非警報領域530内に周囲物体460が有る場合、その周囲物体460についての警報の要否を判定する。
出力設定部124は、まず、作業車両データ210を参照し、非警報領域530内の各周囲物体460の周囲物体領域461を抽出する(ステップS696)。次に、作業車両データ210に、所定の余裕を以て合致する存在領域215を有するレコードがあるか否かを判別する(ステップS697)。ない場合、当該周囲物体460は、警報要と判定し、ステップS695に移行する。
一方、合致する存在領域215を有するレコードが有る場合、該当する各レコードについて、非警報領域設定処理のステップS676において特定したレコード(非警報レコード)であるか否かを判別する(ステップS698)。非警報レコード以外のレコードがあれば、警報要と判定し、ステップS695に移行する。一方、全て非警報レコードであれば、ステップS692に移行する。
(変形例4)
また、上記各実施形態では、出力装置130は、図13に示す様に、周囲物体460の存在する領域に応じて、周囲物体460の領域に対応する画像上の位置に、警報表示として矩形の実線枠711が重畳され、その他には矩形の点線枠712が重畳された合成画像440をモニタ131に表示する。しかしながら、重畳表示は、矩形枠に限られるものではない。例えば、円形枠や三角形枠等の他の多角形枠であってもよい。また、単に点や線分を重畳させるようにしても良い。また、枠線の太さや色を任意に変更しても良い。
なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100:周囲監視システム、101:CPU、102:RAM、103:ROM、104:入出力インタフェース、110:周囲環境取得装置、111:カメラ、112:前方カメラ、113:左方カメラ、114:後方カメラ、115:右方カメラ、120:コントローラ、121:周囲物体検出部、122:自己位置演算部、123:非警報領域設定部、124:出力設定部、125:出力画像生成部、126:非警報基準設定部、127:俯瞰画像生成部、130:出力装置、131:モニタ、132:ブザー、140:管理端末、141:CPU、142:RAM、143:記憶装置、144:入出力インタフェース、145:通信インタフェース、150:通信装置、160:GNSSセンサ、170:操作装置、180:データ記憶装置、190:速度センサ、
210:作業車両データ、211:ID、212:機種、213:作業状態、214:位置、215:存在領域、216:非警報対象、221:周囲物体情報、222:自己位置、223:領域設定情報、224:出力設定、
310:ダンプトラック、311:運転室、312:荷台、313a:左方前輪、313b:右方前輪、320:作業車両、320a:自動車、320b:ショベル、330:管理センタ、340:航法衛星、
411:周囲画像、412:前方画像、413:左方画像、414:後方画像、415:右方画像、415a:前フレーム、415b:現フレーム、421:抽出領域、422:前方抽出領域、423:左方抽出領域、424:後方抽出領域、425:右方抽出領域、430:アイコン画像、440:合成画像、451:像、460:周囲物体、460a:周囲物体、460b:周囲物体、461:周囲物体領域、461a:周囲物体領域、461b:周囲物体領域、
512:前方視野範囲、513:左方視野範囲、514:後方視野範囲、515:右方視野範囲、520:検出領域、521:分割領域、530:非警報領域、710:出力画像、711:実線枠、712:点線枠、810:設定画面、811:項目入力領域、812:条件入力領域

Claims (6)

  1. 予め定めた管理領域内の各作業車両の作業状態および作業位置を作業車両データとして管理する管理端末と、
    前記作業車両のうちの1の作業車両である自車両に装着されて、当該自車両の周囲の検出領域内の環境データを取得する周囲環境取得装置と、
    前記環境データおよび前記作業車両データに基づき、警報の要否を判定し、警報要と判定された場合、警報出力指示を行うコントローラと、
    前記コントローラからの前記警報出力指示に従って警報を出力する出力装置と、を備え、
    前記コントローラは、
    前記環境データに基づき、前記検出領域内に存在する周囲物体を検出し、
    前記作業車両データの前記作業状態が予め定めた作業中である前記作業車両の前記作業位置に基づいて前記検出領域内の非警報領域を決定し、
    前記検出領域内の非警報領域外に前記周囲物体が検出された場合、前記警報出力指示を行うこと
    を特徴とする作業車両の周囲監視システム。
  2. 請求項1記載の作業車両の周囲監視システムにおいて、
    前記コントローラは、さらに、前記作業位置と前記自車両との距離が、予め定めた値より小さい前記作業車両の前記作業位置に基づいて前記非警報領域を決定すること
    を特徴とする作業車両の周囲監視システム。
  3. 請求項1記載の作業車両の周囲監視システムにおいて、
    前記検出領域は、前記自車両に対する方向および距離の少なくとも一方に応じて分割された複数の分割領域を有し、
    前記コントローラは、前記作業状態が予め定めた作業中である前記作業車両の前記作業位置が含まれる前記分割領域を、前記非警報領域と決定すること
    を特徴とする作業車両の周囲監視システム。
  4. 請求項3記載の作業車両の周囲監視システムにおいて、
    前記コントローラは、前記非警報領域内で、前記作業状態が予め定めた作業中である前記作業車両以外の前記周囲物体が検出された場合、前記警報出力指示を行うこと
    を特徴とする作業車両の周囲監視システム。
  5. 請求項1記載の作業車両の周囲監視システムにおいて、
    前記周囲環境取得装置は、カメラを備え、前記環境データとして周囲画像を取得し、
    前記出力装置はモニタを備え、
    前記コントローラは、前記周囲画像から出力画像を生成し、検出された前記周囲物体を、当該出力画像上の前記非警報領域内と前記非警報領域外とで異なる態様で表示させること
    を特徴とする作業車両の周囲監視システム。
  6. 請求項1記載の作業車両の周囲監視システムにおいて、
    オペレータから、前記非警報領域の設定基準の入力を受け付ける操作装置をさらに備え、
    前記コントローラは、前記作業車両データが前記設定基準を満たす前記作業車両の前記作業位置に基づいて前記非警報領域を決定すること
    を特徴とする作業車両の周囲監視システム。
JP2018057041A 2018-03-23 2018-03-23 作業車両の周囲監視システム Pending JP2019168996A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018057041A JP2019168996A (ja) 2018-03-23 2018-03-23 作業車両の周囲監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057041A JP2019168996A (ja) 2018-03-23 2018-03-23 作業車両の周囲監視システム

Publications (1)

Publication Number Publication Date
JP2019168996A true JP2019168996A (ja) 2019-10-03

Family

ID=68107407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057041A Pending JP2019168996A (ja) 2018-03-23 2018-03-23 作業車両の周囲監視システム

Country Status (1)

Country Link
JP (1) JP2019168996A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915590A (zh) * 2020-07-31 2020-11-10 标旗(武汉)信息技术有限公司 雾炮车喷雾次数统计方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915590A (zh) * 2020-07-31 2020-11-10 标旗(武汉)信息技术有限公司 雾炮车喷雾次数统计方法、系统及存储介质
CN111915590B (zh) * 2020-07-31 2022-12-20 标旗(武汉)信息技术有限公司 雾炮车喷雾次数统计方法、系统及存储介质

Similar Documents

Publication Publication Date Title
JP6734485B2 (ja) 作業機械
JP6267972B2 (ja) 作業機械の周囲監視装置
US9836938B2 (en) Shovel having audio output device installed in cab
US8423280B2 (en) Vehicle collision avoidance system
WO2016125332A1 (ja) 車体外部移動物体検知システム
US9167214B2 (en) Image processing system using unified images
JP2022003578A (ja) 作業車
JP7058582B2 (ja) 作業機械
JP6352797B2 (ja) 作業機械の周囲監視装置
WO2019167726A1 (ja) 情報提示装置および情報提示方法
JP2019168996A (ja) 作業車両の周囲監視システム
JP6715205B2 (ja) 作業機械の周囲画像表示装置
JP6262644B2 (ja) 作業機械の周囲監視装置
JP6796518B2 (ja) 移動物体検知システム
WO2022070872A1 (ja) 物体検出システム及び物体検出方法
CN114667379B (zh) 报告生成装置以及报告生成方法
JP6886929B2 (ja) 運搬車両
EP3890313A1 (en) Periphery monitoring device for work machine
WO2022201735A1 (ja) 情報提示装置
WO2021100702A1 (ja) 転倒リスク提示装置および転倒リスク提示方法
US20220356680A1 (en) Operation area presentation device and operation area presentation method
JP7428588B2 (ja) 建設車両用映像表示システム
JP2024005842A (ja) 作業現場監視システム