本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。
<油圧ショベルの全体構成>
図1は、実施形態に係る撮像装置の制御システムを備えた油圧ショベル1を示す斜視図である。図2は、実施形態に係る油圧ショベル1の運転席付近を斜視図である。作業機械である油圧ショベル1は、車体1B及び作業機2を有する。車体1Bは、旋回体3、運転室4及び走行体5を有する。旋回体3は、旋回中心軸Zrを中心として走行体5に旋回可能に取り付けられている。旋回体3は、油圧ポンプ及びエンジン等の装置を収容している。
旋回体3は、作業機2が取り付けられて旋回する。旋回体3の上部には手すり9が取り付けられている。手すり9には、アンテナ21,22が取り付けられる。アンテナ21,22は、RTK−GNSS(Real Time Kinematic - Global Navigation Satellite Systems、GNSSは全地球航法衛星システムをいう)用のアンテナである。アンテナ21,22は、車体座標系(Xm,Ym,Zm)のYm軸の方向に沿って、一定距離だけ離れて配置されている。アンテナ21,22は、GNSS電波を受信し、受信したGNSS電波に応じた信号を出力する。アンテナ21,22は、GPS(Global Positioning System)用のアンテナであってもよい。
運転室4は旋回体3の前部に載置されている。運転室4の屋根には、通信用のアンテナ25Aが取り付けられている。走行体5は、履帯5a,5bを有している。履帯5a,5bが回転することにより油圧ショベル1が走行する。
作業機2は、車体1Bの前部に取り付けられており、ブーム6、アーム7、作業具としてのバケット8、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12を有する。実施形態において、車体1Bの前方は、図2に示される運転席4Sの背もたれ4SSから操作装置35に向かう方向側である。車体1Bの後方は、操作装置35から運転席4Sの背もたれ4SSに向かう方向側である。車体1Bの前部は、車体1Bの前方側の部分であり、車体1BのカウンタウエイトWTとは反対側の部分である。操作装置35は、作業機2及び旋回体3を操作するための装置であり、右側レバー35R及び左側レバー35Lを有する。
ブーム6の基端部は、ブームピン13を介して車体1Bの前部に回動可能に取り付けられている。すなわち、ブームピン13は、ブーム6の旋回体3に対する回動中心に相当する。アーム7の基端部は、アームピン14を介してブーム6の先端部に回動可能に取り付けられている。すなわち、アームピン14は、アーム7のブーム6に対する回動中心に相当する。アーム7の先端部には、バケットピン15を介してバケット8が回動可能に取り付けられている。すなわち、バケットピン15は、バケット8のアーム7に対する回動中心に相当する。
図1に示されるブームシリンダ10、アームシリンダ11及びバケットシリンダ12は、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ10の基端部は、ブームシリンダフートピン10aを介して旋回体3に回動可能に取り付けられている。ブームシリンダ10の先端部は、ブームシリンダトップピン10bを介してブーム6に回動可能に取り付けられている。ブームシリンダ10は、油圧によって伸縮することによって、ブーム6を駆動する。
アームシリンダ11の基端部は、アームシリンダフートピン11aを介してブーム6に回動可能に取り付けられている。アームシリンダ11の先端部は、アームシリンダトップピン11bを介してアーム7に回動可能に取り付けられている。アームシリンダ11は、油圧によって伸縮することによって、アーム7を駆動する。
バケットシリンダ12の基端部は、バケットシリンダフートピン12aを介してアーム7に回動可能に取り付けられている。バケットシリンダ12の先端部は、バケットシリンダトップピン12bを介して第1リンク部材47の一端及び第2リンク部材48の一端に回動可能に取り付けられている。第1リンク部材47の他端は、第1リンクピン47aを介してアーム7の先端部に回動可能に取り付けられている。第2リンク部材48の他端は、第2リンクピン48aを介してバケット8に回動可能に取り付けられている。バケットシリンダ12は、油圧によって伸縮することによって、バケット8を駆動する。
バケット8は、複数の刃8Bを有する。複数の刃8Bは、バケット8の幅方向に沿って一列に並んでいる。刃8Bの先端は、刃先8BTである。バケット8は、作業具の一例である。作業具は、バケット8に限定されない。作業具は、例えば、単数の刃を有するチルトバケットであってもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントであってもよいし、これら以外であってもよい。
旋回体3は、位置検出装置23と、姿勢検出装置の一例であるIMU(Inertial Measurement Unit:慣性計測装置)24とを有する。位置検出装置23は、アンテナ21,22からの信号が入力される。位置検出装置23は、アンテナ21,22から取得した信号を用いて、グローバル座標系(Xg,Yg,Zg)におけるアンテナ21,22の現在位置及び旋回体3の方位を検出して、出力する。旋回体3の方位は、グローバル座標系における旋回体3の向きを表す。旋回体3の向きは、例えば、グローバル座標系のZg軸周りにおける旋回体3の前後方向の向きで表すことができる。方位角は、旋回体3の前後方向における基準軸の、グローバル座標系のZg軸周りにおける回転角である。方位角によって旋回体3の方位が表される。実施形態において、位置検出装置23は、2個のアンテナ21,22の相対位置から方位角を算出する。
<撮像装置>
図2に示されるように、油圧ショベル1は、運転室4内に複数の撮像装置30a,30b,30c,30dを有する。複数の撮像装置30a,30b,30c,30dは、対象の形状を検出する検出装置の一例である。以下において、複数の撮像装置30a,30b,30c,30dを区別しない場合は適宜、撮像装置30と称する。複数の撮像装置30のうち撮像装置30a及び撮像装置30cは、作業機2側に配置される。撮像装置30の種類は限定されないが、実施形態では、例えば、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備えた撮像装置が用いられる。
図2に示されるように、撮像装置30aと撮像装置30bとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。撮像装置30cと撮像装置30dとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室4内に配置される。複数の撮像装置30a,30b,30c,30dは、2個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置30a,30bの組合せのステレオカメラ、及び撮像装置30c,30dの組合せのステレオカメラが構成される。実施形態において、撮像装置30a及び撮像装置30bは上方を向いており、撮像装置30c及び撮像装置30dは下方を向いている。少なくとも撮像装置30a及び撮像装置30cは、油圧ショベル1、実施形態では旋回体3の正面を向いている。撮像装置30b及び撮像装置30dは、作業機2の方に若干向けられて、すなわち、撮像装置30a及び撮像装置30c側の方に若干向けられて配置されることもある。
実施形態において、油圧ショベル1は、4個の撮像装置30を有するが、油圧ショベル1が有する撮像装置30の数は少なくとも2個であればよく、4個に限定されない。油圧ショベル1は、少なくとも一対の撮像装置30でステレオカメラを構成して、対象をステレオ撮影するからである。
複数の撮像装置30a,30b,30c,30dは、運転室4内の前方かつ上方に配置される。上方とは、油圧ショベル1が有する履帯5a,5bの接地面と直交し、かつ接地面から離れる方向側である。履帯5a,5bの接地面は、履帯5a,5bのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも3点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯5a,5bの接地面と直交し、かつ接地面に向かう方向側である。
複数の撮像装置30a,30b,30c,30dは、油圧ショベル1の車体1Bの前方に存在する対象をステレオ撮影する。対象は、例えば、油圧ショベル1、油圧ショベル1の作業機械及び施工現場で作業する作業者の少なくとも1つの施工対象である。複数の撮像装置30a,30b,30c,30dは、油圧ショベル1の所定の位置、実施形態では運転室4内の前方かつ上方から対象を検出する。実施形態においては、少なくとも一対の撮像装置30によるステレオ撮影の結果を用いて、対象が三次元計測される。複数の撮像装置30a,30b,30c,30dが配置される場所は、運転室4内の前方かつ上方に限定されるものではない。
複数の撮像装置30a,30b,30c,30dのうち、例えば、撮像装置30cをこれらの基準とする。4個の複数の撮像装置30a,30b,30c,30dは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図2では、基準となる撮像装置30cの座標系(xs,ys,zs)のみを示している。撮像装置座標系の原点は、各撮像装置30a,30b,30c,30dの中心である。
実施形態において、各撮像装置30a,30b,30c,30dの撮像範囲は、油圧ショベル1の作業機2が施工できる範囲よりも大きい。このようにすることで、各撮像装置30a,30b,30c,30dは、作業機2が掘削できる範囲の対象を確実にステレオ撮影することができる。
前述した車体座標系(Xm,Ym,Zm)は、車体1B、実施形態では旋回体3に固定された原点を基準とする座標系である。実施形態において、車体座標系(Xm,Ym,Zm)の原点は、例えば、旋回体3のスイングサークルの中心である。スイングサークルの中心は、旋回体3の旋回中心軸Zr上に存在する。車体座標系(Xm,Ym,Zm)のZm軸は旋回体3の旋回中心軸Zrとなる軸であり、Xm軸は旋回体3の前後方向に延び、かつZm軸と直交する軸である。Xm軸は、旋回体3の前後方向における基準軸である。Ym軸は、Zm軸及びXm軸と直交する、旋回体3の幅方向に延びる軸である。前述したグローバル座標系(Xg,Yg,Zg)は、GNSSによって計測される座標系であり、地球に固定された原点を基準とした座標系である。
車体座標系は、実施形態の例には限定されない。車体座標系は、例えば、ブームピン13の中心を車体座標系の原点としてもよい。ブームピン13の中心とは、ブームピン13が延びる方向と直交する平面でブームピン13を切った時の断面の中心、かつブームピン13が延びる方向における中心である。
<作業機械の制御システム及び施工管理システム>
図3は、実施形態に係る作業機械の制御システム50及び施工管理システム100を示す図である。図3に示される制御システム50及び管理システム100の装置構成は一例であり、実施形態の装置構成例には限定されない。例えば、制御システム50に含まれる各種の装置はそれぞれ独立していなくてもよい。すなわち、複数の装置の機能が1つの装置によって実現されてもよい。
作業機械の制御システム50(以下、適宜、制御システム50と称する)は、複数の撮像装置30a,30b,30c,30dと、油圧ショベル1を制御するための各種の制御装置とを含む。これらは、図1に示される油圧ショベル1の車体1B、実施形態では旋回体3に備えられている。実施形態において、制御システム50は、形状計測システムに相当する。
制御システム50が有する各種の制御装置は、図3に示される検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55及び作業機制御装置56を含む。この他に、制御システム50は、油圧ショベル1の状態及び油圧ショベル1による施工の状況を管理する施工管理装置57を有する。また、制御システム50は、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする表示装置58と、油圧ショベル1の外部に存在する管理施設60の管理装置61、他の作業機械70、携帯端末装置64及び管理施設60の管理装置61以外の装置のうち少なくとも1つと通信する通信装置25を有する。さらに、制御システム50は、油圧ショベル1の制御に必要な情報を取得するための位置検出装置23及び姿勢検出装置の一例であるIMU24を有する。実施形態において、制御システム50は、少なくとも検出処理装置51及び施工情報生成装置52を有していればよい。
実施形態において、検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25は、信号線59に接続されて、相互に通信する。実施形態において、信号線59を用いた通信の規格はCAN(Controller Area Network)であるが、これに限定されない。以下において、油圧ショベル1というときには、油圧ショベル1が有する検出処理装置51及び施工情報生成装置52等の各種の電子装置を指すこともある。
図4は、油圧ショベル1が有する各種の機器類及び管理装置61のハードウェア構成例を示す図である。実施形態において、油圧ショベル1が有する検出処理装置51、施工情報生成装置52、センサ制御装置53、機関制御装置54、ポンプ制御装置55、作業機制御装置56、施工管理装置57、表示装置58、位置検出装置23及び通信装置25、並びに管理装置61は、図4に示されるように、処理部PR、記憶部MR及び入出力部IOを有する。処理部PRは、例えば、CPU(Central Processing Unit)のようなプロセッサ及びメモリによって実現される。
記憶部MRは、RAM(Random Access Memory)、ROM(Random Access Memory)、フラッシュメモリ、EPROM(Erasable Programmable Random Access Memory)、EEPROM(Electrically Erasable Programmable Random Access Memory)等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも1つが用いられる。
入出力部IOは、油圧ショベル1又は管理装置61が、他の機器及び内部の装置とデータ及び信号等を送受信するためのインターフェース回路である。内部の装置には、油圧ショベル1内の信号線59も含まれる。
油圧ショベル1と管理装置61とは、それぞれの機能を処理部PRに実現させるためのコンピュータプログラムを記憶部MRに記憶している。油圧ショベル1の処理部PRと管理装置61の処理部PRとは、記憶部MRから前述したコンピュータプログラムを読み出して実行することにより、それぞれの装置の機能を実現する。油圧ショベル1が有する各種の電子装置、機器及び管理装置61は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携してそれぞれの機能を実現するものであってもよい。次に、油圧ショベル1が有する各種の電子装置及び機器について説明する。
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された対象の一対の画像に、ステレオ方式における画像処理を施すことにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、検出処理装置51は、同一の対象を少なくとも一対の撮像装置30で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置30及び検出処理装置51は、ステレオ方式により対象を三次元計測するものである。ステレオ方式における画像処理とは、同一の対象を2つの異なる撮像装置30から観測して得られる2つの画像から、その対象までの距離を得る手法である。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。
検出処理装置51は、少なくとも一対の撮像装置30によって検出された対象の情報を取得し、取得した対象の情報から対象の三次元形状を示す形状情報を求める。実施形態では、少なくとも一対の撮像装置30が対象を撮像することにより対象の情報を生成して出力する。対象の情報は、少なくとも一対の撮像装置30によって撮像された施工対象の画像である。検出処理装置51は、対象の画像にステレオ方式による画像処理を施すことにより、形状情報を求め、出力する。実施形態において、少なくとも一対の撮像装置30を有する油圧ショベル1の施工対象が少なくとも一対の撮像装置30によって撮像されるが、他の作業機械の施工対象が、少なくとも一対の撮像装置30によって撮像されてもよい。
実施形態において、撮像装置30が検出する対象は、施工の対象(以下、適宜、施工対象と称する)及び施工後の対象である。実施形態において、施工対象及び施工後の対象は、撮像装置30を有する油圧ショベル1、他の油圧ショベル1ot、油圧ショベル以外の作業機械及び作業者のうち少なくとも1つの施工対象及び施工後の対象であればよい。
検出処理装置51は、演算部51A及び情報付与部51Bを有する。演算部51Aは、少なくとも一対の撮像装置30によって撮像された一対の画像に、ステレオ方式における画像処理を施して形状情報を求める。情報付与部51Bは、形状情報に各種の情報を付けて出力する。形状情報に付される各種の情報は、時刻情報がある。時刻情報は、対象が演算部51A及び少なくとも一対の撮像装置30によって検出された時刻から、形状情報が出力される時刻までの間に存在する少なくとも1つの時刻の情報を含む。時刻情報は、例えば、検出処理装置51内のタイマから取得される。各種の情報は、時刻情報の他に、少なくとも一対の撮像装置30が対象を撮像した位置を示す情報及び対象を撮像した撮像装置30を有する油圧ショベル1を識別するための情報のうち少なくとも一方をさらに含んでもよい。演算部51A及び情報付与部51Bの機能は、図4に示される処理部PRが実現する。
実施形態において、少なくとも一対の撮像装置30は、油圧ショベル1に取り付けられて、対象を検出して対象の情報を出力する対象検出部に相当する。検出処理装置51は、少なくとも一対の撮像装置30によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を出力する形状検出部に相当する。少なくとも一対の撮像装置30の代わりにレーザスキャナのような3Dスキャナが用いられてもよい。3Dスキャナは、対象を検出して対象の三次元形状を示す形状情報を出力するので、前述した対象検出部及び形状検出部の機能を有している。
検出処理装置51には、ハブ31及び撮像スイッチ32が接続される。ハブ31は、複数の撮像装置30a,30b,30c,30dが接続されている。ハブ31を用いずに、撮像装置30a,30b,30c,30dと検出処理装置51とが接続されてもよい。撮像装置30a,30b,30c,30dの撮像した結果は、ハブ31を介して検出処理装置51に入力される。検出処理装置51は、ハブ31を介して、撮像装置30a,30b,30c,30dが撮像した結果、実施形態では対象の画像を取得する。実施形態において、撮像スイッチ32が操作されると、少なくとも一対の撮像装置30は対象を撮像する。撮像スイッチ32は、図2に示される運転室4内に設置される。例えば、撮像スイッチ32は、操作装置35の近傍に設置されるが、撮像スイッチ32の設置場所はこれに限定されない。
制御システム50は、少なくとも一対の撮像装置30によって対象の画像を取得する場合、旋回体3を旋回開始と同時に撮像を開始し旋回停止によって撮像を終了し、その旋回中に取得した画像をもとにステレオ方式における画像処理を施して形状情報を求めるようにしてもよい。この場合、制御システム50は、例えば、操作装置35のうち旋回体3を旋回させるための操作装置の操作にともなって出力される、パイロット圧の変化を示す信号又は電気信号を検出処理装置51が受信し、旋回体3の旋回開始と旋回停止のタイミングとを判断し撮像する。
施工情報生成装置52は、油圧ショベル1が施工対象を施工するときに目標とする形状の情報である目標施工情報を求めて、出力する。実施形態において、施工情報生成装置52は、検出処理装置51が求めた施工対象の形状情報を用いて目標施工情報を求める。実施形態において、目標施工情報は、施工対象が施工されるときに目標とされる形状を、グローバル座標系における三次元座標で表した位置情報である。目標施工情報は、グローバル座標系以外の座標系における三次元座標の情報であってもよい。実施形態において、施工情報生成装置52は、施工情報生成部に相当する。
少なくとも一対の撮像装置30が取得した施工対象の情報が通信装置25を介して油圧ショベル1の外部に送信され、例えば、管理装置61が三次元座標系における対象の座標を求めてもよい。この場合、管理装置61は、検出処理装置51の機能を実現する。また、管理装置61は、施工情報生成装置52の機能を実現してもよい。通信装置25を介して、油圧ショベル1に搭載された検出処理装置51が求めた施工対象の形状情報が油圧ショベル1の外部に送信され、例えば管理装置61が目標施工情報を求めてもよい。この場合、管理装置61は、施工情報生成装置52の機能を実現する。
センサ制御装置53は、油圧ショベル1の状態の情報及び油圧ショベル1の周囲の状態の情報を検出するためのセンサ類が接続される。センサ制御装置53は、センサ類から取得した情報を、他の電子装置及び機器が取り扱うことのできるフォーマットに変換して出力する。油圧ショベル1の状態の情報は、例えば、油圧ショベル1の姿勢の情報及び作業機2の姿勢の情報等である。図3に示される例では、油圧ショベル1の状態の情報を検出するセンサとして、IMU24、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cがセンサ制御装置53に接続されているが、センサ類はこれらに限定されない。
IMU24は、自身に作用する加速度及び角速度、すなわち油圧ショベル1に作用する加速度及び角速度を検出して出力する。油圧ショベル1に作用する加速度及び角速度から、油圧ショベル1の姿勢が分かる。油圧ショベル1の姿勢を検出できれば、IMU24以外の装置であってもよい。実施形態において、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ10、アームシリンダ11及びバケットシリンダ12のストローク長さを検出することにより、車体1Bに対するブーム6の回動角と、ブーム6に対するアーム7の回動角と、アーム7に対するバケット8の回動角とを間接的に検出する。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された車体1Bに対するブーム6の回動角、ブーム6に対するアーム7の回動角及びアーム7に対するバケット8の回動角と、作業機2の寸法とから、車体座標系における作業機2の部分の位置が分かる。例えば、作業機2の部分の位置としては、例えば、バケット8の刃先8BTの位置である。第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cは、ストロークセンサに代えてポテンショメータ又は傾斜計であってもよい。
機関制御装置54は、油圧ショベル1の動力発生装置である内燃機関27を制御する。内燃機関27は、例えばディーゼルエンジンであるが、これに限定されない。また、油圧ショベル1の動力発生装置は、内燃機関27と発電電動機とを組み合わせたハイブリッド方式の装置であってもよい。内燃機関27は、油圧ポンプ28を駆動する。
ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を制御する。実施形態において、ポンプ制御装置55は、油圧ポンプ28から吐出される作動油の流量を調整するための制御指令の信号を生成する。ポンプ制御装置55は、生成した制御信号を用いて油圧ポンプ28の斜板角を変更することにより、油圧ポンプ28から吐出される作動油の流量を変更する。油圧ポンプ28から吐出された作動油は、コントロールバルブ29に供給される。コントロールバルブ29は、油圧ポンプ28から供給された作動油を、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び油圧モータ5M等の油圧機器に供給して、これらを駆動する。
作業機制御装置56は、例えば、バケット8の刃先8BTを目標とする施工面に沿って移動させる制御を実行する。作業機制御装置56は、作業機制御部に相当する。この制御を、以下においては適宜、作業機制御と称する。作業機制御装置56は、作業機制御を実行するにあたって、例えば、施工情報生成装置52が生成した目標施工情報を取得し、目標施工情報に含まれる目標施工面にバケット8の刃先8BTが沿うようにコントロールバルブ29を制御して作業機2を制御する。油圧ショベル1は、作業機制御装置56を備えずに、後述する方法で得られた目標施工情報と自身の作業機2との位置関係を、表示装置58の画面58Dに施工のガイダンス画像として表示可能であってもよい。
施工管理装置57は、例えば、検出処理装置51が求めた形状情報、施工情報生成装置52によって生成された目標施工情報、油圧ショベル1が施工対象を施工した施工結果の形状情報、及び油圧ショベル1がこれから施工しようとする施工対象の現況地形を示す形状情報の少なくとも1つを収集し、記憶部57Mに記憶させる。施工管理装置57は、記憶部57Mに記憶させた施工結果を、通信装置25を介して管理装置61又は携帯端末装置64に送信する。施工管理装置57は、記憶部57Mに記憶させた施工結果を、通信装置25を介して管理装置61又は携帯端末装置64に送信する。施工管理装置57は、検出処理装置51が求めた形状情報及び目標施工情報の少なくとも一方を収集し、記憶部57Mに記憶せずに管理装置61又は携帯端末装置64に送信してもよい。記憶部57Mは、図4に示される記憶部MRに相当する。
施工管理装置57は、油圧ショベル1の外部に設けられた、例えば管理装置61に設けられてもよい。この場合、施工管理装置57は、油圧ショベル1から通信装置25を介して形状情報又は施工結果を取得する。
施工結果は、例えば、少なくとも一対の撮像装置30が施工後の施工対象を撮像し、検出処理装置51が撮像結果にステレオ方式による画像処理を施すことによって求められた形状情報である。以下、施工しようとする施工対象の現況地形を示す形状情報を、適宜、現況地形情報と称する。また、形状情報は、施工結果を示す形状情報である場合と、現況地形を示す形状情報である場合とがある。現況地形情報とは、例えば、油圧ショベル1、他の作業機械70又は作業者等が施工しようとする施工対象が少なくとも一対の撮像装置30によって撮像され、検出処理装置51によって求められた形状情報である。
施工管理装置57は、例えば、一日の作業が終了した後に施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したり、一日の作業のうち複数回施工結果を収集して管理装置61及び携帯端末装置64の少なくとも一方に送信したりする。施工管理装置57は、例えば朝の作業前に、施工前の形状情報を管理装置61又は携帯端末装置64に送信してもよい。
実施形態では、施工管理装置57は、例えば一日の作業のうち、正午と作業終了時との2回の施工結果を収集し、管理装置61又は携帯端末装置64に送信する。施工結果は、施工現場全体のうち、施工が行われた範囲が撮像されることによって得られた施工結果であってもよいし、施工現場全体が撮像されることによって得られた施工結果であってもよい。管理装置61又は携帯端末装置64に送信される施工結果を施工が行われた範囲のものとすることにより、撮像時間、画像処理時間及び施工結果の送信時間の増加を抑制できるので好ましい。
表示装置58は、液晶表示パネルのようなディスプレイの画面58Dに、油圧ショベル1の情報を表示したり施工のガイダンス画像を画面58Dに表示したりする他、実施形態においては、前述した作業機制御が実行される場合に作業機2の位置を求める。表示装置58が求める刃先8BTの位置は、実施形態はバケット8の刃先8BTの位置である。表示装置58は、位置検出装置23が検出したアンテナ21,22の現在位置と、第1角度検出部18A、第2角度検出部18B及び第3角度検出部18Cによって検出された回動角と、記憶部MRに記憶された作業機2の寸法と、IMU24の出力データとを取得し、これらを用いてバケット8の刃先8BTの位置を求める。実施形態では、表示装置58がバケット8の刃先8BTの位置を求めているが、バケット8の刃先8BTの位置は表示装置58以外の装置が求めてもよい。
通信装置25は、実施形態における通信部である。通信装置25は、管理施設60の管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つと通信回線NTWを介して通信して、互いに情報をやり取りする。通信装置25がやり取りする情報のうち、制御システム50から管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つに送信する情報は、施工に関する情報がある。施工に関する情報は、前述した形状情報及び形状情報から得られた情報の少なくとも一方を含む。形状情報から得られた情報は、例えば、前述した目標施工情報及び形状情報を加工して得られた情報を含むが、これらに限定されるものではない。施工に関する情報は、検出処理装置51の記憶部、施工情報生成装置52の記憶部及び施工管理装置57の記憶部57Mに記憶されてから通信装置25によって送信されてもよいし、記憶されずに送信されてもよい。
実施形態において、通信装置25は無線通信によって通信する。このため、通信装置25は、無線通信用のアンテナ25Aを有する。携帯端末装置64は、例えば、油圧ショベル1の作業を管理する管理者が所持しているものであるが、これに限定されない。他の作業機械70は、制御システム50を有する油圧ショベル1及び管理装置61の少なくとも一方と通信する機能を有している。他の作業機械70は、制御システム50を有する油圧ショベル1であってもよいし、制御システム50を有さない油圧ショベルであってもよいし、油圧ショベル以外の作業機械であってもよい。通信装置25は、管理施設60の管理装置61、他の作業機械70及び携帯端末装置64の少なくとも1つと有線通信を介して通信して、互いに情報をやり取りするようにしてもよい。
施工管理システム100は、管理施設60の管理装置61と、制御システム50と、制御システム50を有する油圧ショベル1とを含む。施工管理システム100は、さらに携帯端末装置64を含んでいてもよい。施工管理システム100に含まれる、制御システム50を有する油圧ショベル1は単数でもよいし、複数でもよい。管理施設60は、管理装置61と、通信装置62とを有する。管理装置61は、通信装置62及び通信回線NTWを介して、少なくとも油圧ショベル1と通信する。管理装置61は、携帯端末装置64と通信したり、他の作業機械70と通信したりしてもよい。油圧ショベル1と、他の油圧ショベル1ot及び作業機械の少なくとも一方とは、直接、車車間で無線通信できるように無線通信機器を搭載してもよい。そして、油圧ショベル1、他の油圧ショベル1ot及び作業機械の少なくとも1つは、管理施設60の管理装置61等で実行される処理を実行できるような機器又は電子装置を搭載してもよい。
管理装置61は、油圧ショベル1から施工結果及び現況地形情報の少なくとも一方を受け取り、施工の進捗状況を管理する。管理装置61は、油圧ショベル1から形状情報を受け取り、これを用いて目標施工情報を生成して油圧ショベル1に送信してもよい。管理装置61は、施工対象の設計情報から目標施工情報を生成し、油圧ショベル1に送信してもよい。管理装置61は、油圧ショベル1から受け取った施工結果を加工して、施工の進捗情報を動画にして表示装置67に表示したり、動画の情報を油圧ショベル1又は携帯端末装置64に送信して油圧ショベル1の表示装置58に表示させたり携帯端末装置64の画面に表示させたりしてもよい。前述したように、管理装置61で実行される目標施工情報の生成は、油圧ショベル1及び他の作業機械70の少なくとも1つで実行してもよい。
<施工対象の施工>
実施形態において、制御システム50は、図2に示される複数の撮像装置30のうち少なくとも2つによって施工対象を撮像することによって、施工対象の形状を示す情報である形状情報を得る。そして、制御システム50は、得られた形状情報を用いて目標施工情報を求める。油圧ショベル1が施工対象を施工する場合、制御システム50は、求めた目標施工情報に沿うように、作業機2を制御する。
図5は、実施形態に係る油圧ショベル1が施工する施工現場の一例を示す図である。実施形態において、油圧ショベル1の施工対象OBPは、地面である。実施形態において、施工対象OBPは、施工現場の少なくとも一部の領域である。実施形態において油圧ショベル1が施工対象OBPに施す施工は、図5に示されるように、施工対象OBPの表面OBSから予め定められた深さΔDPだけ、表土を削り取る作業である。施工対象OBPのうち、施工が実行された部分は、施工実行部分OBFとなる。施工実行部分OBFは、施工計画によっては、施工が必要でない部分を示す場合もある。施工実行部分OBFは、施工対象OBPの少なくとも一部である。次に、制御システム50が求める形状情報を説明する。
<対象の撮像及び形状情報の生成>
図6は、実施形態に係る作業機械の制御システムが求める形状情報について説明するための図である。この場合、形状情報は、油圧ショベル1がこれから施工しようとする部分である施工対象OBPは油圧ショベル1の前方にある。形状情報は、施工対象OBPから求められる。制御システム50は、施工対象OBPから形状情報を生成する場合、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。実施形態では、油圧ショベル1のオペレータが、図3に示される撮像スイッチ32を操作して撮像指令を検出処理装置51に入力すると、検出処理装置51は少なくとも一対の撮像装置30に施工対象OBPを撮像させる。
制御システム50の検出処理装置51は、少なくとも一対の撮像装置30が撮像した施工対象OBPの画像にステレオ方式による画像処理を施して、施工対象OBPの位置情報、実施形態では三次元位置情報を求める。検出処理装置51が求めた施工対象OBPの位置情報は、撮像装置30の座標系における情報なので、グローバル座標系における位置情報に変換される。グローバル座標系における施工対象の位置情報が形状情報である。実施形態において、形状情報は、グローバル座標系における施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)を少なくとも1つ含む情報である。位置Pr(Xg,Yg,Zg)は、グローバル座標系における座標であり、三次元位置情報である。
図7は、油圧ショベル1が重力の作用方向Gに対して傾斜している状態を示す図である。図8は、油圧ショベル1が重力の作用方向Gに対して傾斜している状態で、少なくとも一対の撮像装置30で対象Ojが撮像された画像の例を示す図である。傾斜面GDに油圧ショベル1が設置された状態で少なくとも一対の撮像装置30が対象Ojを撮像すると、撮像装置座標系(xs,ys,zs)は、重力の作用方向Gに対して傾く。この状態で得られた画像は、図8に示されるように対象Ojが傾斜するので、この画像にステレオ方式による画像処理が施されて形状情報が求められると、形状情報は傾きの影響を受ける可能性がある。制御システム50は、油圧ショベル1の姿勢をIMU24によって検出し、検出した油圧ショベル1の姿勢に関する情報を用いて形状情報を求める。
図9は、実施形態に係る制御システム50が形状情報を求めるための処理例を説明するための図である。図10は、実施形態に係る制御システム50が求めた形状情報のデータファイルの一例を示す図である。少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置Ps(xs,ys,zs)は、撮像装置座標系(xs,ys,zs)の座標である。形状情報は、グローバル座標系(Xg,Yg,Zg)における座標なので、検出処理装置51は、位置Ps(xs,ys,zs)をグローバル座標系(Xg,Yg,Zg)の位置Pg(xs,ys,zs)に変換する。位置Pg(xs,ys,zs)が、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)、すなわち形状情報である。
位置Ps(xs,ys,zs)は、式(1)によって撮像装置座標系(xs,ys,zs)から車体座標系(Xm,Ym,Zm)の位置Pm(xm、ym、zm)に変換される。車体座標系(Xm,Ym,Zm)の位置Pm(xm、ym、zm)は、式(2)によってグローバル座標系(Xg,Yg,Zg)の位置Pg(xs,ys,zs)に変換される。
Pm=R・Ps+T・・・(1)
Pg=Rimu・(Pm+Toff)+Tg・・・(2)
式(1)中のRは式(3)で表される回転行列、Tは式(4)の行列で表される並進ベクトルである。式(2)のRimuは式(5)で表される回転行列、Toffは式(6)の行列で表される並進ベクトルである。Toffは、車体座標系の原点からアンテナ21,22のいずれか一方までの距離のオフセット値を表す。Tgは式(7)の行列で表される、アンテナ21,22のいずれか一方の並進ベクトルである。回転行列R中の角度α、角度β及び角度γは、車体座標系に対する撮像装置座標系の傾きを表す。角度α、角度β及び角度γは、例えば、複数の撮像装置30が油圧ショベル1に取り付けられた後に予め求められて、検出処理装置51の記憶部に記憶される。行列Tのx0,y0,z0は撮像装置座標系の原点と車体座標系の原点との距離を表す。x0,y0,z0は、例えば、複数の撮像装置30が油圧ショベル1に取り付けられた後に計測されたり、油圧ショベル1の設計情報から予め求められたりして、検出処理装置51の記憶部に記憶される。
回転行列Rimu中の角度θr、角度θp及び角度θdは、油圧ショベル1のロール角、ピッチ角及び方位角である。ロール角θr、ピッチ角θp及び方位角θdは、油圧ショベル1の姿勢を表す。ロール角θr及びピッチ角θpは、図3に示されるIMU24が求めるか、IMU24の検出値から検出処理装置51が求めるものである。方位角θdは、図3に示されるアンテナ21,22及び位置検出装置23によって構成されたGPSコンパスによって求められる。より詳細には、方位角θdは、位置検出装置23によって2個のアンテナ21,22相対位置に基づいて求められる。ロール角θr、ピッチ角θp及び方位角θdは、油圧ショベル1の姿勢が変化することによって変化する。実施形態においては、IMU24によって求められたヨー角θyが、GPSコンパスによって得られた方位角(方位データ)に代えて用いられてもよい。実施形態において、ロール角θr、ピッチ角θp及び方位角θdは、少なくとも一対の撮像装置30が対象、例えば施工現場の施工対象及び施工後の施工現場等を検出したときにおいて、IMU24及び位置検出装置23によって検出された値である。ロール角θr、ピッチ角θp及びヨー各θy又は方位角θdは、IMU24以外又は位置検出装置23以外の装置、例えばジャイロ等によって求められてもよい。
行列Toffのx1,y1,z1は、車体座標系の原点と、図1及び図3に示されるアンテナ21,22の設置位置までの距離を表す。x1,y1,z1は、例えば、アンテナ21,22が油圧ショベル1に取り付けられた後に計測されたり、油圧ショベル1の設計情報から予め求められたりして、検出処理装置51の記憶部に記憶される。
行列Tgのx2,y2,z2は、図1及び図3に示されるアンテナ21,22及び位置検出装置23が検出したグローバル座標系におけるアンテナ21,22の位置を表す。x1,y1,z1は、油圧ショベル1の位置、より具体的にはアンテナ21,22の位置が変化することによって変化する。
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置Ps(xs,ys,zs)を、式(1)から式(7)を用いてグローバル座標系における位置Pg(xg,yg,zg)に変換する。このとき、検出処理装置51は、IMU24からロール角θr及びピッチ角θpを取得し、位置検出装置23からアンテナ21,22のグローバル座標系における位置及び方位角θdを取得して、前述した変換に用いる。前述したように、検出処理装置51は、方位角θdの代わりに、IMU24が検出したヨー角θyを用いてもよい。検出処理装置51は、変換後の位置Pg(xg,yg,zg)を、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)、すなわち形状情報とする。実施形態においては、形状情報の一例として施工対象OBPの表面OBSの位置Prを示しているが、形状情報はこれに限定されない。例えば、形状情報は、施工後における施工対象OBPの表面の位置及び施工途中における施工対象OBPの表面の位置であってもよい。
検出処理装置51は、少なくとも一対の撮像装置30によって撮像された施工対象OBPの領域全体にわたって、施工対象OBPの表面OBSの位置Pr(Xg,Yg,Zg)を求め、出力する。実施形態において、検出処理装置51は、所定の単位毎に、図10に示されるように、求めた位置Pr(Xg,Yg,Zg)のデータファイルEMDを生成する。図10に示されるデータファイルEMDは、n個(nは1以上の整数)の位置Pr(Xg,Yg,Zg)の集合である。データファイルEMDも、実施形態における形状情報に該当する。
所定の単位は、例えば、一回の撮像によって得られた施工対象OBPの範囲、及び予め定めた施工対象OBPの範囲が挙げられる。予め定めた施工対象OBPの範囲は、一回の撮像によって得られた範囲の一部であってもよいし、一回の撮像によって得られた範囲を超える範囲であってもよい。後者の場合には複数回の撮像によって得られた範囲が対象となる。
実施形態において、検出処理装置51はデータファイルEMDを生成したら、自身の記憶部に記憶させる。そして、検出処理装置51は、データファイルEMDの位置Prを用いて、目標施工情報を生成する。この他にも、施工管理装置57は、検出処理装置51が生成したデータファイルEMDを、通信装置25から図3に示される管理装置61、携帯端末装置64及び他の作業機械70の少なくとも一つに送信してもよい。
図11は、施工管理装置57によって送信される、データファイルEMDを含む情報の一例を示す図である。本実施形態において、図3に示される検出処理装置51の情報付与部51Bは、形状情報に、形状情報を特定するための時刻情報TMを付けて出力する。時刻情報TMは、時刻に基づいて、形状情報を特定する情報である。本実施形態では、情報付与部51Bは、図11に示されるように、時刻情報TM及び形状情報であるデータファイルEMDを含む作業情報LGを生成して、出力する。時刻情報TMは、例えば、少なくとも一対の撮像装置30が施工対象OBPを撮像した時刻であってもよいし、演算部51Aが形状情報を生成した時刻であってもよいし、情報付与部51Bが作業情報LGを出力する時刻であってもよいし、管理装置61及び携帯端末装置64のような油圧ショベル1の外部の装置が形状情報を取得した時刻であってもよい。すなわち、時刻情報TMは、施工前、施工途中又は施工後における施工対象OBPが、少なくとも一対の撮像装置30及び検出処理装置51によって検出された時刻から油圧ショベル1の外部の装置が形状情報を取得した時刻までの間に存在する少なくとも1つの時刻の情報である。時刻情報TMが、油圧ショベル1の外部の装置が形状情報を取得した時刻の情報である場合、情報付与部51Bが油圧ショベル1の外部の装置に設けられ、情報付与部51Bは、外部の装置が形状情報を取得した時刻を示す時刻情報TMを形状情報に付与する。
実施形態において、作業情報LGは、時刻情報TM及びデータファイルEMDに加えて、目標施工情報TI、撮像位置PL及び油圧ショベル1の姿勢情報SIを含む。目標施工情報TIは、作業情報LGに含まれる形状情報、すなわちデータファイルEMDの情報から生成されたものである。撮像位置PLは、少なくとも一対の撮像装置30が、施工前、施工途中又は施工後における施工対象OBPを撮像した場所を示す情報である。撮像位置PLは、図3に示される位置検出装置23が検出したアンテナ21,22のグローバル座標における位置に基づいて求められる。姿勢情報SIは、油圧ショベル1の姿勢を示す情報であり、実施形態ではロール角θr、ピッチ角θp及びヨー角θyである。ロール角θr、ヨー角θy及びヨー角θyは、IMU24の検出値であるが、ヨー角θyの代わりに位置検出装置23が検出した方位角θdが用いられてもよい。これらの他にも、作業情報LGは識別番号を含んでいてもよい。識別番号は、少なくとも一対の撮像装置30の位置を示す情報及び対象を撮像した撮像装置30を有する油圧ショベル1を識別するための情報である。識別番号としては、例えば、通信装置25のIPアドレスであってもよい。また、識別番号としては、少なくとも一対の撮像装置の製造番号及び油圧ショベル1の車体番号が用いられるが、これらに限定されない。
作業情報LGに含まれる情報は、前述した情報に限定されない。例えば、作業情報LGは、油圧ショベル1のオペレータを識別するためのオペレータIDを含んでいてもよい。作業情報LGは、検出処理装置51の情報付与部51Bがすべての情報を生成しなくてもよい。実施形態では、情報付与部51Bは、少なくとも時刻情報TM及びデータファイルEMDを含む作業情報LGを生成して出力すればよい。時刻情報TM及びデータファイルEMD以外の情報は、例えば、施工管理装置57によって付与される。この場合、施工管理装置57は、施工情報生成装置52によって生成された目標施工情報TIを取得し、情報付与部51Bから取得した作業情報LGに追加する。また、施工管理装置57は、信号線59を介して識別番号及び撮像位置PLを取得して、作業情報LGに追加する。施工管理装置57は、作業情報LGを所定のタイミング、実施形態では1日に2回、管理装置61及び携帯端末装置64の少なくとも一方に送信する。
実施形態において、すくなくとも一対の撮像装置30が対象を撮像したら、検出処理装置51は、少なくとも時刻情報TM及びデータファイルEMDを含む作業情報LGを生成して出力し、通信装置25を介して油圧ショベル1の外部に送信する。油圧ショベル1の外部に送信された作業情報LGは、管理装置61が取得したり、携帯端末装置64が取得したりする。
実施形態において、図3に示される撮像スイッチ32が操作されると、少なくとも一対の撮像装置30が対象を撮像する。検出処理装置51の演算部51Aは撮像装置30によって撮像された画像にステレオ方式による画像処理を施して形状情報を生成する。検出処理装置51の情報付与部51Bは、形状情報に時刻情報を付けた作業情報LGを出力する。作業情報LGは、施工管理装置57及び通信装置25を介して、又は通信装置25を介して管理装置61及び携帯端末装置64の少なくとも一方に送信する。
検出処理装置51は、油圧ショベル1の周辺を監視するため、所定の時間毎、例えば10分毎に少なくとも一対の撮像装置30に対象を撮像させる。少なくとも一対の撮像装置30によって撮像された二次元画像は、検出処理装置51の記憶部に記憶されて、ある程度の情報が蓄積されたら通信装置25を介して管理装置61に送信される。前述した二次元画像は、作業情報LGが管理装置61に送信されるタイミングで送信されてもよいし、撮像されたら速やかに管理装置61へ送信されてもよい。
実施形態において、検出処理装置51が、例えば複数の撮像装置30が起動していることを認識していること、信号線59が断線していないこと、IMU24の出力が安定していること、及びGNSSによる測位がFIX(正常)であることを条件(許可条件)に、検出処理装置51は、撮像装置30を用いた三次元計測を許可する。許可条件が1つでも成立していない場合、撮像スイッチ32が操作されても、検出処理装置51は撮像装置30を用いた三次元計測を許可しない。IMU24の出力が安定しているとは、油圧ショベル1が静止している状態であることを意味する。撮像装置30による三次元計測に、前述した条件を設けることで、対象の計測精度の低下が抑制される。許可条件は、制御システム50が三次元計測を許可するための例示である。制御システム50は、許可条件のいずれか一つを用いてもよいし、許可条件を用いなくてもよい。
図12は、データファイルEMDが管理装置61の記憶部に記憶される一例を示す図である。油圧ショベル1から送信された作業情報LGは、管理装置61の記憶部に記憶される。作業情報LGが携帯端末装置64に送信される場合、作業情報LGは携帯端末装置64の記憶部に記憶されてもよい。
管理装置61の記憶部内には、例えば、図12のデータテーブルTBに示されるように、時刻情報TMとデータファイルEMDとが対応付けられて記憶される。データテーブルTBは、管理装置61が新しい時刻情報TM及びデータファイルEMDを取得する毎に更新される。データファイルEMDに付される番号が同一の情報は、作業現場の同じ場所の形状情報を示す。管理装置61は、データテーブルTBに含まれるデータファイルEMDを用いて、施工現場の現状を示す情報(以下、適宜、現況情報と称する)を生成できる。この場合、データファイルEMDに付される番号が同一である場合、最新のデータファイルEMDを用いて現況情報が生成される。最新のデータファイルEMDであるか否かは、データファイルEMDに対応付けられた時刻情報TMによって判定される。例えば、2つのデータファイルEMD1が存在した場合、管理装置61は、それぞれのデータファイルEMD1に対応した時刻情報TMを比較し、新しい方のデータファイルEMD1を用いて現況情報を生成する。このようにすることで、管理装置61は、最新の現況情報を生成できる。
管理装置61は、時刻情報TMが付された形状情報、すなわちデータファイルEMDを用いて、油圧ショベル1の施工現場全体の現状の地形の情報、すなわち現況情報を出力する。例えば、管理装置61は、最新の時刻情報TMが付された各データファイルEMDを施工現場全体にわたって収集して結合することにより、油圧ショベル1の施工現場全体の現況情報を生成して出力する。施工現場全体の現況情報は、例えば、管理施設60の表示装置67に表示されたり、携帯端末装置64に表示されたりする。
施工現場全体の現況情報は、油圧ショベル1による施工結果を用いて生成されてもよいし、他の作業機械70による施工結果を用いて生成されてもよい。また、施工現場全体の現況情報は、油圧ショベル1及び他の作業機械70によらない施工結果、例えば、作業者がスコップ等によって施工した結果を用いて生成されてもよい。本実施形態において、施工現場全体の現況情報は、油圧ショベル1による施工結果と、他の作業機械70による施工結果と、油圧ショベル1及び他の作業機械70によらない施工結果との少なくとも一つを用いて生成されればよい。施工現場全体の現況情報は、油圧ショベルの施工管理装置57及び携帯端末装置64の少なくとも一方が生成して出力してもよい。
図13は、施工現場全体の施工対象OBPtとデータファイルEMDに対応した範囲との関係を示す図である。図13は、最新のデータファイルEMD1,EMD2,・・・EMDmに対応した範囲が施工現場全体の施工対象OBPt内に表示された例を示している。データファイルEMD1,EMD2,EMDmに対応した範囲は、データファイルEMD1,EMD2,・・・EMDmに含まれる三次元位置情報で特定される範囲である。
管理装置61は、例えば、施工現場全体の施工対象OBPtに、データファイルEMD1,EMD2,EMDmに対応した範囲を重ねた情報を生成する。そして、管理装置61は、例えば、管理施設60内の表示装置67に、生成した情報を表示させる。このようにすると、最新のデータファイルEMD1,EMD2,・・・EMDmが施工対象OBPt内に表示されるので、施工現場の現状が示される。管理装置61は、時刻情報TMが同一又は同一とみなせるデータファイルEMD同士を組み合わせることで、施工現場の現状の状況を得ることができる。時刻情報TMが同一とみなせるとは、予め定められた時間の範囲内の時刻情報TMに対応するデータファイルEMDは、同一の時刻に得られたものとして取り扱されることをいう。例えば、朝9時から夕方17:00までを予め定められた時間の範囲とした場合、ある曜日におけるこの時間の範囲内の時刻情報TMを持つデータファイルEMDは、同一の時刻に得られたものとして取り扱われ、曜日が変われば異なる時刻に得られたものとして取り扱われる。
図14は、施工現場全体の施工対象OBPtの変化を時系列に並べたものである。時刻t=tsは、施工現場の施工が開始される前の状態を示している。時刻t=t1において、施工対象OBPtは領域OBPf1が施工されている。領域OBPf1は、時刻t=t1における形状情報、すなわちデータファイルEMDに含まれる三次元情報によって特定されるので、施工前における施工対象OBPtに領域OBPf1を重ねることで、時刻t=t1における施工現場全体の状態が分かる。
時刻t=t2において、施工対象OBPtは領域OBPf1に加え、領域OBPf2及び領域OBPf3がさらに施工されている。領域OBPf2及び領域OBPf3は、時刻t=t2における形状情報、すなわちデータファイルEMDに含まれる三次元情報によって特定されるので、施工前における施工対象OBPに領域OBPf2及び領域OBPf3を重ねることで、時刻t=t2における施工現場全体の状態が分かる。時刻t=t2において、領域OBPf1はすでに施工されているので、時刻t=t2においては領域OBPf1に対応する形状情報、すなわち領域OBPf1に対応するデータファイルEMDが得られていなくてもよい。領域OBPf1に対応するデータファイルEMDが得られていない場合、領域OBPf1については時刻t=t1における情報が最新となる。
時刻t=t2においては、領域OBPf2及び領域OBPf3とともに、時刻t=t1における領域OBPf1が施工前における施工対象OBPtに重ねられる。時刻t=t2において、領域OBPf1に対応する形状情報、すなわち領域OBPf1に対応するデータファイルEMDが得られている場合、最新のデータファイルEMDに基づく領域OBPf1が、領域OBPf2及び領域OBPf3とともに、施工前における施工対象OBPtに重ねられる。
管理装置61は、時刻t=ts,t1,t2の順に、施工対象OBPt全体の現況情報を生成して、例えば管理施設60内の表示装置67に、生成した現況情報を三次元画像で表示させる。この場合、管理装置61は、現況情報を時刻毎にコマ送りで表示させることができる。このようにすることで、管理者は、日々の施工の進捗状況を容易に理解できる。携帯端末装置64は、通信回線NTWを介して管理装置61にアクセスして現況情報を取得し、現況情報を画面に表示してもよい。このようにすれば、管理施設60にいない施工現場の作業者も、日々の施工の進捗状況を容易に理解できる。
図15及び図16は、異なる時刻に得られた形状情報の差分から、除去された土の量又は盛土の量を求める例を示す図である。実施形態においては、異なる時刻に得られた形状情報に基づいて、除去された土の量又は盛土の量が求められる。施工前における時刻t=tsの施工対象OBPが施工されて、施工後の対象OBPfになったとする。グローバル座標系(Xg,Yg,Zg)において、施工後における時刻t=tfで得られた形状情報のZg座標と、施工前における時刻t=tsで得られた形状情報のZg座標との差分はΔDである。差分ΔDが負の場合は土を除去した場合であり、差分ΔDが正の場合は盛土の場合である。差分ΔDに、施工された範囲のXg方向における寸法及びYg軸方向における寸法を乗ずることにより、施工対象OBPの除去された土の量又は盛土の量(実施形態において、土の量は体積)が得られる。本実施形態においては、異なる時刻に得られた形状情報に基づいて、油圧ショベル1のみならず、他の作業機械70によって除去された土の量又は盛土の量が求められてもよい。
このように、形状情報であるデータファイルEMDと時刻情報TMとを対応付けることにより、施工現場の施工に関する様々な情報が得られる。データファイルEMD及び時刻情報TMを用いて現況情報を生成したり、盛土量又は除去された土の量を求めたりする処理は、管理装置61、携帯端末装置64及び油圧ショベル1の施工管理装置57のいずれが実行してもよい。また、管理装置61、携帯端末装置64又は油圧ショベル1の施工管理装置57のいずれかが前述した処理を実行し、通信回線NTWを介して他の機器に結果を送信してもよい。前述した処理の結果は、通信だけでなく、ストレージデバイスに記憶されて、他の機器に受け渡されてもよい。次に、目標施工情報について説明する。
<目標施工情報>
図17、図18及び図19は、実施形態に係る作業機械の制御システム50が生成する目標施工情報を説明するための図である。実施形態において、図3に示される施工情報生成装置52は、検出処理装置51によって生成された形状情報を用いて、目標施工情報、すなわち施工対象OBPが施工させる際に目標となる形状の位置情報を求める。実施形態において、施工情報生成装置52は、図11及び図12に示されるように、形状情報に含まれる施工対象OBPの表面OBSの位置を示す情報を加工することによって、表面OBSの位置を変更して、目標施工情報を得る。
図17に示される例は、施工対象OBPの表面OBSから距離ΔDPtの範囲を除去する施工例を示している。この場合、施工情報生成装置52は、施工対象OBPの表面OBSの位置Pra(Xga,Yga,Zga)を、距離ΔDPtだけ低くした位置Pta(Xta,Yta,Zta)を求める。実施形態において、施工情報生成装置52は、位置Pra(Xga,Yga,Zga)のZgaをΔDPtだけ減じることにより、位置Pra(Xga,Yga,Zga)を、距離ΔDPtだけ低い位置に移動させる。したがって、位置Pta(Xta,Yta,Zta)は、位置Pta(Xga,Yga,Zga−ΔDPt)となる。このようにして得られた位置Pta(Xta,Yta,Zta)が、目標施工情報となる。施工情報生成装置52は、図3に示される検出処理装置51から形状情報、実施形態ではデータファイルEMDを取得し、データファイルEMDに含まれるすべての位置Pr(Xg,Yg,Zg)に対してZgの値からΔDPtだけ減算することにより、目標施工情報を生成する。
図18に示される例は、施工対象OBPの表面OBSから距離ΔADtの範囲に、例えば土、砂又は岩石のような物体を盛る施工例を示している。この場合、施工情報生成装置52は、施工対象OBPの表面OBSの位置Prb(Xgb,Ygb,Zgb)を、距離ΔADtだけ高くした位置Ptb(Xtb,Ytb,Ztb)を求める。実施形態において、施工情報生成装置52は、位置Prb(Xgb,Ygb,Zgb)のZgにΔADtを加算することにより、位置Prb(Xgb,Ygb,Zgb)を、距離ΔADtだけ高い位置に移動させる。したがって、位置Ptb(Xtb,Ytb,Ztb)は、位置Ptb(Xgb,Ygb,Zgb+ΔADt)となる。このようにして得られた位置Ptb(Xtb,Ytb,Ztb)が、目標施工情報となる。施工情報生成装置52は、図3に示される検出処理装置51から形状情報、実施形態ではデータファイルEMDを取得し、データファイルEMDに含まれるすべての位置Pr(Xg,Yg,Zg)に対してZgの値にΔADtを加算することにより、目標施工情報を生成する。
このように、図17及び図18に示される施工は、施工対象OBPの表面OBSを一定の深さ(ΔDpt)又は一定の高さ(ΔADt)に変更(オフセット)する施工である。この他にも、例えば、施工対象OBPの表面OBSに所定の傾斜を有する勾配を設けるような施工に、制御システム50が適用されてもよい。このような施工は、例えば、施工後の地形が、水はけがよい地形になるように施工する場合に行われる。少なくとも一対の撮像装置30によって撮像された画像に基づき検出処理装置51が形状情報を生成した後、施工情報生成装置52は、形状情報が示す表面OBSの位置のZg座標について所定の距離を減算又は加算して、表面OBSに対し所定の勾配が設けられた目標施工情報を生成する。この場合も、施工情報生成装置52は、形状情報に含まれる施工対象OBPの表面OBSの位置を示す情報を加工することによって、表面OBSの位置を変更して、目標施工情報を得ることになる。
施工現場は広い場合、図19に示されるように、少なくとも一対の撮像装置30が撮像する施工対象OBPa,OBPbは、施工現場全体の施工対象OBPtの一部となることがある。施工対象OBPa,OBPbの表面にある位置Pra,Prbから得られた位置Pta,Ptbを目標施工情報とする範囲OBPta,OBPtbも、施工現場全体の一部の情報となる。施工管理装置57は、形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求めることができる。
施工管理装置57が、油圧ショベル1の外部に設けられた、例えば管理装置61に設けられている場合、施工管理装置57は、油圧ショベル1から通信装置25を介して形状情報を取得する。施工管理装置57は、取得した形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求める。この場合、施工管理装置57は、油圧ショベル1から形状情報を取得して目標施工情報を生成する。施工管理装置57は、形状情報及び目標施工情報を油圧ショベル1から取得して、施工対象OBPから除去する土の量又は施工対象OBPに盛る土の量を求めてもよい。
施工情報生成装置52は、目標施工情報を生成したら、自身の記憶部に記憶させる。施工情報生成装置52の記憶部に記憶された目標施工情報は、作業機制御装置56が作業機制御を実行する際の目標値として使用される。実施形態において、作業機制御装置56は、作業機2、より具体的にはバケット8の刃先8BTが、目標施工情報に沿うように、油圧ショベル1の作業機2を制御する。すなわち、作業機制御装置56は、バケット8の刃先8BTを、目標施工情報によって表された、施工対象が施工されるときに目標とされる形状に沿って移動させる。施工管理装置57は、施工情報生成装置52が生成した目標施工情報を、通信装置25から図3に示される管理装置61、携帯端末装置64及び他の作業機械70の少なくとも一つに送信してもよい。次に、実施形態に係る形状計測方法及び施工管理方法の処理例を説明する。
<実施形態に係る形状計測方法及び施工管理方法の処理例>
図20は、実施形態に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。制御システム50を有する油圧ショベル1は、実施形態に係る形状計測方法を実行する。より詳細には、制御システム50は、施工対象OBPの形状情報を求め、得られた形状情報から目標施工情報を生成する。そして、制御システム50は、得られた目標施工情報に沿うように作業機2を制御する。施工管理システム100、実施形態では管理装置61が、実施形態に係る施工管理方法を実行する。
図3に示される撮像スイッチ32がオペレータによって操作されると、撮像スイッチ32から制御システム50に、施工対象OBPを撮像装置30に撮像させるための撮像指令が検出処理装置51に入力される。検出処理装置51は、撮像指令が入力されると、ステップS101において、少なくとも一対の撮像装置30に施工対象OBPを撮像させる。ステップS102において、検出処理装置51は、少なくとも一対の撮像装置30が撮像した画像にステレオ方式による画像処理を施して施工対象OBPの位置(三次元位置)を求め、得られた施工対象OBPの位置を用いて施工対象OBPの形状情報を生成する。検出処理装置51は、生成した目標施工情報を自身の記憶部及び施工管理装置57の記憶部57Mの少なくとも一方に記憶させる。形状情報を生成する手法は、前述した通りである。
ステップS103において、施工情報生成装置52は、検出処理装置51から形状情報を取得し、目標施工情報を生成する。施工情報生成装置52は、生成した目標施工情報を自身の記憶部及び施工管理装置57の記憶部57Mの少なくとも一方に記憶させる。目標施工情報を生成する手法は、前述した通りである。実施形態において、図3に示される施工管理装置57は、ステップS102で得られた形状情報及びステップS102で得られた目標施工情報を含む作業情報LGを、管理装置61及び携帯端末装置64の少なくとも一方に送信してもよい。
ステップS104において、油圧ショベル1は、施工対象OBPを施工する。このとき、作業機制御装置56は、作業機制御を実行する。すなわち、作業機制御装置56は、目標施工情報によって表された、施工対象OBPの施工時において目標とされる形状に沿って、バケット8の刃先8BTを移動させる。
実施形態では、油圧ショベル1が目標施工情報に基づき作業機制御を実行して施工する。施工現場では、作業者がスコップ等の作業具を使って手作業で掘削等をすることもある。このような場合、作業者は、油圧ショベル1から送信され、携帯端末装置64に取得された目標施工情報を確認して掘削等の施工を行ってもよい。
施工が終了したら、ステップS105において、検出処理装置51は施工後の施工対象OBPを少なくとも一対の撮像装置30に撮像させ、得られた画像を用いて形状情報を生成する。次に、ステップS106において、施工管理装置57は、検出処理装置51が生成した施工後の形状情報を、図3に示される通信装置25を介して管理装置61に送信する。施工管理装置57は、施工後の形状情報を、通信装置25を介して図3に示される携帯端末装置64に送信してもよい。施工後の形状情報を取得した管理装置61は、図3に示される携帯端末装置64に、通信装置62を介して施工後の形状情報を送信してもよい。図20に示される施工方法の処理例を示すフローチャートにおいて、ステップS106及びステップS107は実行されなくてもよい。
実施形態においては、時刻情報TMが形状情報に付されているので、管理装置61及び携帯端末装置64の少なくとも一方は、制御システム50から送信された、所定の施行現場について施工前後の形状情報を表示装置67及び携帯端末装置64が有する表示装置の少なくとも一方の画面に表示させることにより、施工の進捗状況を表示させることができる。また、管理装置61及び携帯端末装置64の少なくとも一方は、施工現場の形状情報を時系列に並べて表示装置67及び携帯端末装置64が有する表示装置の少なくとも一方の画面に表示させたり、コマ送りで表示させたり、位置Prの座標の数値を表示させたりすることにより、日々の施工の進捗状況が分かりやすく表示される。油圧ショベル1の施工管理装置57も、時系列の施工現場の形状情報が管理装置61から得られていれば、表示装置58の画面58Dに施工現場の形状情報を時系列に並べて表示させることができる。すなわち、管理装置61、携帯端末装置64、施工管理装置及び施工管理装置57の少なくとも1つは、時刻情報が付された前記形状情報を複数用いて、前記作業機械の施工現場全体の地形の情報を時系列に表示する表示装置を有する。
実施形態において、施工管理装置57は、施工後の形状情報に加え、目標施工情報を、通信装置25を介して管理装置61及び携帯端末装置64の少なくとも一方に送信してもよい。施工後の形状情報及び目標施工情報が、油圧ショベル1から管理装置61のみに送信される場合、管理装置61は、施工後の形状情報及び目標施工情報を、通信装置62を介して携帯端末装置64に送信してもよい。このようにすることで、管理装置61及び携帯端末装置64の少なくとも一方は、施工後の形状情報と目標施工情報とを表示装置67の画面に並べて表示したり、重ねて表示したりすることができるので、管理者等は、施工の進捗状況を迅速かつ容易に確認できる。
<対象を検出する方法の変形例>
油圧ショベル1が有する少なくとも一対の撮像装置30が対象を検出する方法の変形例を説明する。少なくとも一対の撮像装置30は、油圧ショベル1の旋回体3に取り付けられる。旋回体3を旋回させながら少なくとも一対の撮像装置30が対象を撮像することにより、検出処理装置51は、油圧ショベル1の周囲全体の形状情報を得ることができる。
旋回体3をさせながら少なくとも一対の撮像装置30が対象を撮像する場合、検出処理装置51は、撮像のタイミングで旋回体3の旋回を停止させてもよい。この場合、旋回体3は断続的に旋回する。旋回体3を連続して旋回させながら少なくとも一対の撮像装置30が対象を撮像する場合、次のようにする。
旋回体3を連続して旋回させながら少なくとも一対の撮像装置30が対象を撮像する場合、少なくとも一対の撮像装置30は、旋回体3が旋回を開始すると同時に撮像を開始し、旋回を停止することによって撮像を終了する。そして、検出処理装置51は、旋回体3の旋回中に取得した画像をもとにステレオ方式における画像処理を施して形状情報を求めてもよい。この場合、例えば、操作装置35のうち旋回体3を旋回させるための操作装置の操作にともなって出力される、パイロット圧の変化を示す信号又は電気信号を検出処理装置51が受信し、旋回体3の旋回開始のタイミング及び旋回停止のタイミングを判断し、少なくとも一対の撮像装置30に撮像を行わせる。
旋回体3の旋回中に撮像装置30が対象を撮像することによる三次元計測が実行される場合、検出処理装置51は、撮像装置30のシャッターが切られる毎に時刻情報TMを生成して、撮像された画像と対応付ける。また、検出処理装置51は、旋回体3の旋回が開始された時刻又は旋回が停止した時刻を時刻情報TMとしてもよい。
制御システム50は、少なくとも一対の撮像装置30によって撮像された対象の形状情報と、形状情報が得られた時刻情報とを対応付けるので、時刻情報に基づいて形状情報を組み合わせることで、作業現場の現状の状況を得ることができる。
油圧ショベル1のような作業機械は、複雑な地形の上で施工することも多く、撮像装置30が撮像する対象に対して大きく傾いている場合も多い。異なるタイミングで同じ場所で対象が撮像される場合、その場所は施工等が行われて地面の傾斜が変化してしまっていることも想定される。一対の撮像装置30は、油圧ショベル1が稼働している間に互いの相対的な位置関係がずれないように、油圧ショベル1に確実に取り付けられるので、油圧ショベル1の姿勢に応じて一対の撮像装置30の姿勢を変化させることは難しい。
実施形態において、制御システム50は、油圧ショベルの姿勢を用いて形状情報を求める。このとき、制御システム50は、IMU24の検出値と、位置検出装置23によって検出された油圧ショベル1の位置から得られた油圧ショベルの方位とを用いて、撮像装置30によって得られた三次元位置情報を、グローバル座標系における三次元位置情報に変換する。変換後の三次元位置情報が形状情報となる。このような処理により、制御システム50が求めた形状情報は、油圧ショベル1の傾斜の影響を抑制して、施工前後の地形の比較等を適切に行うことができる。
制御システム50は、作業現場を撮像装置30によって撮像することで、作業現場の形状情報、すなわち作業現場の三次元位置情報を得ることができる。制御システム50は油圧ショベル1に設けられているので、作業現場の様々な場所に移動して形状情報を求めることができる。このようにして求めた複数の形状情報を、時刻情報に基づいて結合させることで、作業現場の状況及び作業現場の状況の変化を把握できるようになる。その結果、管理装置61は、対象の位置を検出する検出装置である少なくとも一対の撮像装置30及び検出処理装置51を有する作業機械である油圧ショベル1が得た検出結果を用いて施工状況を管理することができる。
例えば、管理装置61は、同時刻とみなせる範囲内で得られた複数の異なる形状情報を抽出して結合させることにより、同時刻とみなせる範囲内における施工現場の施工状態を得ることができる。例えば、同時刻とみなせる範囲内における施工現場の施工状態を複数得ることにより、施工の進捗状況が把握される。このように、管理装置61は、撮像装置30及び検出処理装置51を有する作業機械と撮像装置30及び検出処理装置51を有さない作業機械とが混在する施工現場の施工状況を管理できる。このように、制御システム50を有する油圧ショベル1が作業現場に1台あれば、油圧ショベル1が自身の施工対象だけでなく、他の作業機械の施工対象についても形状情報を生成できるので、施工現場全体における施工の進捗管理及び出来高管理が可能になる。
制御システム50は、油圧ショベル1に設けられた少なくとも一対の撮像装置30を用いて施工対象を検出し、検出結果である少なくとも一対の画像から施工対象の形状情報を求め、得られた形状情報から対象を施工するときに目標とする形状の情報である形状情報を求める。したがって、制御システム50は、作業者が施工現場において、測量器等を使用して施工対象を測量して対象の形状を求めていた作業を不要にさせ、また、求められた施工対象に基づく目標とする形状の生成作業、つまり目標とする形状の情報を設計する作業を不要にさせる。その結果、制御システム50は、施工対象の現況地形を測量する手間及び施工対象の施工時に目標となる形状を求める際の手間を低減することができる。制御システム50は、作業者による、測量器等を使用した測量が困難である場所も、撮像装置30が撮像できる場所であれば目標施工情報を生成できるので、より効率的に作業機械による施工及び作業者の手による掘削等の施工が実現できる。また、制御システム50によって施工対象の測量ができるため、施工現場で測量を行う作業者の負担が軽減される。
例えば、CAD(Computer Aided Design)等の設計ツールで作成された、施工対象の目標施工情報が存在する場合、作業機械によって施工を行うために、その目標施工情報が示す場所、すなわちこれから施工しようとする場所に作業機械を移動させることが必要になる場合がある。制御システム50を有する油圧ショベル1は、少なくとも一対の撮像装置30を有し、これから施工する施工対象を少なくとも一対の撮像装置30によって撮像し、撮像結果に基づいて目標施工情報を生成する。このように、油圧ショベル1は、測量器として機能するとともに設計ツールとして機能する。つまり、施工する場所で、施工対象の目標施工情報を生成できるので、これから施工しようとする場所に移動しなくてもよい。その結果、移動時間及び設計期間が短縮できるので、作業効率が向上する。
実施形態では、油圧ショベル1が有する制御システムが形状情報を生成したが、形状情報は管理装置61が生成してもよい。この場合、一対の撮像装置30によって撮像された画像にステレオ方式による画像処理が施された結果、油圧ショベル1の姿勢を示す情報及び油圧ショベル1のグローバル座標系における位置その他の形状情報を求めるために必要な情報が、通信装置25を介して管理装置61に送信される。
油圧ショベル1等の作業機械は施工現場で移動するため、少なくとも一対の撮像装置30が撮像する現場の傾斜は様々であるし、撮像する場所の傾斜も施工によって時間の経過とともに変化することがある。このような施工現場においても、制御システム50は、油圧ショベル1の姿勢を表す情報、実施形態ではロール角θr、ピッチ角θp及び方位角θdを用いて形状情報を生成するので、適切な施工管理を実現できる。
実施形態において、制御システム50は、油圧ショベル1の姿勢を表すロール角θr、ピッチ角θp及び方位角θdを用いて形状情報を生成したが、油圧ショベル1の姿勢変化に対して一対の撮像装置30の相対的な位置関係を保持したまま、両者の姿勢が一定となる機構によって一対の撮像装置30が支持されるようにしてもよい。この場合、例えば、一対の撮像装置30の基線が常に水平を保つような機構で一対の撮像装置30が支持される。
実施形態において、制御システム50は、制御システム50を有する油圧ショベル1及び制御システム50を有さない作業機械が施工する範囲及び施工された後の範囲を対象として形状情報を生成するが、制御システム50が形状情報を生成する対象はこれらに限定されない。例えば、制御システム50は、施工現場でスコップ等によって掘削等の作業する作業者が施工した範囲、又はこれから施工しようとする範囲の形状情報を生成することもできる。このようにすることで、制御システム50及び制御システム50を有する施工管理システム100は、施工現場全体の施工状況を管理することができる。前述のように、制御システム50は、施工前後の形状情報の差分から、作業者がスコップ等によって掘削や盛土を行った土量も求めることができる。
実施形態においては、制御システム50が作業機械である油圧ショベル1に備えられているが、形状情報を生成したり目標施工情報を生成したりするシステムは測量用の車両に備えられていてもよい。例えば、形状情報を生成する場合は、少なくとも一対の撮像装置30及び検出処理装置51が測量用の車両に備えられる。形状情報に加え、目標施工情報も生成する場合は、少なくとも一対の撮像装置30及び検出処理装置51に加え、施工情報生成装置52が測量用の車両に備えられる。いずれの場合でも、測量用の車両は、施工現場で作業する作業機械、管理装置61及び携帯端末装置64の少なくとも1つと通信できる通信装置25を有することが好ましい。
実施形態において、ステレオ方式における画像処理は、油圧ショベル1の外部、例えば管理施設60の管理装置61及び携帯端末装置64の少なくとも一つが行ってもよい。この場合、例えば、少なくとも一対の撮像装置30によって撮像された対象の一対の画像が、通信装置25を介して管理装置61及び携帯端末装置64の少なくとも一つに送信され、管理装置61及び携帯端末装置64の少なくとも一つは、対象の画像にステレオ方式による画像処理を施す。
実施形態において、油圧ショベル1の外部、例えば管理施設60の管理装置61及び携帯端末装置64の少なくとも一つが、形状情報を生成してもよい。特に、油圧ショベル1の姿勢を表すロール角θr、ピッチ角θp及び方位角θdを用いた変換を、油圧ショベル1の外部、例えば管理施設60の管理装置61及び携帯端末装置64の少なくとも一つが行ってもよい。この場合、少なくとも一対の撮像装置30によって撮像された対象の一対の画像にステレオ方式による画像処理が施された情報が、ロール角θr、ピッチ角θp及び方位角θdとともに、通信装置25を介して油圧ショベル1の外部、例えば管理施設60の管理装置61及び携帯端末装置64の少なくとも一つに送信される。
実施形態において、まず少なくとも一対の撮像装置30によって撮像された画像から得られた施工対象OBPの位置Psが求められ、その後、グローバル座標系の位置Pgに変換されるとともに、油圧ショベルの姿勢による傾きが補正されてもよい。実施形態において、制御システム50は、例えばIMU24が油圧ショベル1の旋回体3の旋回及び油圧ショベル1の移動の少なくとも一方を検出したら、撮像装置30による撮像を禁止したり、検出処理装置51が形状情報を生成しないようにしたりする制御を実行してもよい。実施形態において、油圧ショベル1が他の作業機械70に形状情報を送信し、他の作業機械70が目標施工情報を生成してもよい。
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。作業機械は、施工対象を施工、例えば掘削及び運搬等を行うことができれば油圧ショベルに限定されず、例えば、ホイールローダー及びブルドーザーのような作業機械であってもよい。