本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。
An embodiment (embodiment) for carrying out the present invention will be described in detail with reference to the drawings.
実施形態１．
＜油圧ショベルの全体構成＞
図１は、実施形態１に係る撮像装置の制御システムを備えた油圧ショベル１を示す斜視図である。図２は、実施形態１に係る油圧ショベル１の運転席付近を斜視図である。作業機械である油圧ショベル１は、車体１Ｂ及び作業機２を有する。車体１Ｂは、旋回体３、運転室４及び走行体５を有する。旋回体３は、旋回中心軸Ｚｒを中心として走行体５に旋回可能に取り付けられている。旋回体３は、油圧ポンプ及びエンジン等の装置を収容している。
Embodiment 1.
<Overall configuration of hydraulic excavator>
FIG. 1 is a perspective view showing a hydraulic excavator 1 provided with a control system for the imaging device according to the first embodiment. FIG. 2 is a perspective view of the vicinity of the driver's seat of the hydraulic excavator 1 according to the first embodiment. The hydraulic excavator 1 which is a working machine has a vehicle body 1B and a working machine 2. The vehicle body 1B has a turning body 3, a driver's cab 4, and a traveling body 5. The swivel body 3 is rotatably attached to the traveling body 5 about the swivel center axis Zr. The swivel body 3 houses devices such as a hydraulic pump and an engine.
旋回体３は、作業機２が取り付けられて旋回する。旋回体３の上部には手すり９が取り付けられている。手すり９には、アンテナ２１，２２が取り付けられる。アンテナ２１，２２は、ＲＴＫ−ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナである。アンテナ２１，２２は、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＹｍ軸の方向に沿って、一定距離だけ離れて配置されている。アンテナ２１，２２は、ＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に応じた信号を出力する。アンテナ２１，２２は、ＧＰＳ（Global Positioning System）用のアンテナであってもよい。
The swivel body 3 is swiveled with the work machine 2 attached. A handrail 9 is attached to the upper part of the swivel body 3. Antennas 21 and 22 are attached to the handrail 9. Antennas 21 and 22 are antennas for RTK-GNSS (Real Time Kinematic-Global Navigation Satellite Systems, where GNSS means global navigation satellite systems). The antennas 21 and 22 are arranged at a certain distance along the direction of the Ym axis of the vehicle body coordinate system (Xm, Ym, Zm). The antennas 21 and 22 receive the GNSS radio wave and output a signal corresponding to the received GNSS radio wave. The antennas 21 and 22 may be antennas for GPS (Global Positioning System).
運転室４は旋回体３の前部に載置されている。運転室４の屋根には、通信用のアンテナ２５Ａが取り付けられている。走行体５は、履帯５ａ，５ｂを有している。履帯５ａ，５ｂが回転することにより油圧ショベル１が走行する。
The driver's cab 4 is mounted on the front portion of the swivel body 3. A communication antenna 25A is attached to the roof of the driver's cab 4. The traveling body 5 has tracks 5a and 5b. The hydraulic excavator 1 travels by rotating the tracks 5a and 5b.
作業機２は、車体１Ｂの前部に取り付けられており、ブーム６、アーム７、作業具としてのバケット８、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２を有する。実施形態において、車体１Ｂの前方は、図２に示される運転席４Ｓの背もたれ４ＳＳから操作装置３５に向かう方向側である。車体１Ｂの後方は、操作装置３５から運転席４Ｓの背もたれ４ＳＳに向かう方向側である。車体１Ｂの前部は、車体１Ｂの前方側の部分であり、車体１ＢのカウンタウエイトＷＴとは反対側の部分である。操作装置３５は、作業機２及び旋回体３を操作するための装置であり、右側レバー３５Ｒ及び左側レバー３５Ｌを有する。
The work machine 2 is attached to the front portion of the vehicle body 1B, and has a boom 6, an arm 7, a bucket 8 as a work tool, a boom cylinder 10, an arm cylinder 11, and a bucket cylinder 12. In the embodiment, the front side of the vehicle body 1B is the direction side from the backrest 4SS of the driver's seat 4S shown in FIG. 2 toward the operating device 35. The rear side of the vehicle body 1B is the direction side from the operating device 35 toward the backrest 4SS of the driver's seat 4S. The front portion of the vehicle body 1B is a portion on the front side of the vehicle body 1B and is a portion on the opposite side of the vehicle body 1B from the counterweight WT. The operating device 35 is a device for operating the working machine 2 and the swivel body 3, and has a right side lever 35R and a left side lever 35L.
ブーム６の基端部は、ブームピン１３を介して車体１Ｂの前部に回動可能に取り付けられている。すなわち、ブームピン１３は、ブーム６の旋回体３に対する回動中心に相当する。アーム７の基端部は、アームピン１４を介してブーム６の先端部に回動可能に取り付けられている。すなわち、アームピン１４は、アーム７のブーム６に対する回動中心に相当する。アーム７の先端部には、バケットピン１５を介してバケット８が回動可能に取り付けられている。すなわち、バケットピン１５は、バケット８のアーム７に対する回動中心に相当する。
The base end portion of the boom 6 is rotatably attached to the front portion of the vehicle body 1B via the boom pin 13. That is, the boom pin 13 corresponds to the rotation center of the boom 6 with respect to the swivel body 3. The base end portion of the arm 7 is rotatably attached to the tip end portion of the boom 6 via the arm pin 14. That is, the arm pin 14 corresponds to the center of rotation of the arm 7 with respect to the boom 6. A bucket 8 is rotatably attached to the tip of the arm 7 via a bucket pin 15. That is, the bucket pin 15 corresponds to the center of rotation of the bucket 8 with respect to the arm 7.
図１に示されるブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２は、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に回動可能に取り付けられている。ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に回動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。
The boom cylinder 10, arm cylinder 11, and bucket cylinder 12 shown in FIG. 1 are hydraulic cylinders that are driven by flood control, respectively. The base end portion of the boom cylinder 10 is rotatably attached to the swivel body 3 via the boom cylinder foot pin 10a. The tip of the boom cylinder 10 is rotatably attached to the boom 6 via the boom cylinder top pin 10b. The boom cylinder 10 drives the boom 6 by expanding and contracting by flood control.
アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に回動可能に取り付けられている。アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に回動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。
The base end portion of the arm cylinder 11 is rotatably attached to the boom 6 via the arm cylinder foot pin 11a. The tip of the arm cylinder 11 is rotatably attached to the arm 7 via the arm cylinder top pin 11b. The arm cylinder 11 drives the arm 7 by expanding and contracting by flood control.
バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に回動可能に取り付けられている。バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端及び第２リンク部材４８の一端に回動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に回動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に回動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。
The base end portion of the bucket cylinder 12 is rotatably attached to the arm 7 via the bucket cylinder foot pin 12a. The tip of the bucket cylinder 12 is rotatably attached to one end of the first link member 47 and one end of the second link member 48 via the bucket cylinder top pin 12b. The other end of the first link member 47 is rotatably attached to the tip of the arm 7 via the first link pin 47a. The other end of the second link member 48 is rotatably attached to the bucket 8 via the second link pin 48a. The bucket cylinder 12 drives the bucket 8 by expanding and contracting by flood control.
バケット８は、複数の刃８Ｂを有する。複数の刃８Ｂは、バケット８の幅方向に沿って一列に並んでいる。刃８Ｂの先端は、刃先８ＢＴである。バケット８は、作業具の一例である。作業具は、バケット８に限定されない。作業具は、例えば、単数の刃を有するチルトバケットであってもよいし、法面バケット又は削岩用のチップを備えた削岩用のアタッチメントであってもよいし、これら以外であってもよい。
The bucket 8 has a plurality of blades 8B. The plurality of blades 8B are arranged in a row along the width direction of the bucket 8. The tip of the blade 8B is the blade edge 8BT. The bucket 8 is an example of a working tool. The work tool is not limited to the bucket 8. The work tool may be, for example, a tilt bucket with a single blade, a slope bucket or a rock drilling attachment with a rock drilling tip, or any other attachment. Good.
旋回体３は、位置検出装置２３と、姿勢検出装置の一例であるＩＭＵ（Inertial Measurement Unit：慣性計測装置）２４とを有する。位置検出装置２３は、アンテナ２１，２２からの信号が入力される。位置検出装置２３は、アンテナ２１，２２から取得した信号を用いて、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）におけるアンテナ２１，２２の現在位置及び旋回体３の方位を検出して、出力する。旋回体３の方位は、グローバル座標系における旋回体３の向きを表す。旋回体３の向きは、例えば、グローバル座標系のＺｇ軸周りにおける旋回体３の前後方向の向きで表すことができる。方位角は、旋回体３の前後方向における基準軸の、グローバル座標系のＺｇ軸周りにおける回転角である。方位角によって旋回体３の方位が表される。本実施形態において、位置検出装置２３は、２個のアンテナ２１，２２の相対位置から方位角を算出する。
The swivel body 3 has a position detecting device 23 and an IMU (Inertial Measurement Unit) 24 which is an example of a posture detecting device. The position detection device 23 receives signals from the antennas 21 and 22. The position detection device 23 detects the current position of the antennas 21 and 22 and the orientation of the swivel body 3 in the global coordinate system (Xg, Yg, Zg) using the signals acquired from the antennas 21 and 22, and outputs the signals. The orientation of the swivel body 3 represents the orientation of the swivel body 3 in the global coordinate system. The orientation of the swivel body 3 can be represented by, for example, the orientation of the swivel body 3 in the front-rear direction around the Zg axis of the global coordinate system. The azimuth is the rotation angle of the reference axis in the front-rear direction of the swivel body 3 around the Zg axis of the global coordinate system. The azimuth represents the orientation of the swivel body 3. In the present embodiment, the position detection device 23 calculates the azimuth angle from the relative positions of the two antennas 21 and 22.
＜撮像装置＞
図２に示されるように、油圧ショベル１は、運転室４内に複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを有する。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、対象の形状を検出する検出装置の一例である。以下において、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄを区別しない場合は適宜、撮像装置３０と称する。複数の撮像装置３０のうち撮像装置３０ａ及び撮像装置３０ｃは、作業機２側に配置される。撮像装置３０の種類は限定されないが、実施形態では、例えば、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えた撮像装置が用いられる。
<Imaging device>
As shown in FIG. 2, the hydraulic excavator 1 has a plurality of image pickup devices 30a, 30b, 30c, 30d in the driver's cab 4. The plurality of imaging devices 30a, 30b, 30c, and 30d are examples of detection devices that detect the shape of an object. In the following, when a plurality of image pickup devices 30a, 30b, 30c, and 30d are not distinguished, they are appropriately referred to as an image pickup device 30. Of the plurality of image pickup devices 30, the image pickup device 30a and the image pickup device 30c are arranged on the work equipment 2 side. The type of the imaging device 30 is not limited, but in the embodiment, for example, an imaging device including a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used.
図２に示されるように、撮像装置３０ａと撮像装置３０ｂとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。撮像装置３０ｃと撮像装置３０ｄとは所定の間隔をおいて同じ方向又は異なる方向を向いて運転室４内に配置される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、２個が組み合わされてステレオカメラを構成する。実施形態では、撮像装置３０ａ，３０ｂの組合せのステレオカメラ、及び撮像装置３０ｃ，３０ｄの組合せのステレオカメラが構成される。実施形態において、撮像装置３０ａ及び撮像装置３０ｂは上方を向いており、撮像装置３０ｃ及び撮像装置３０ｄは下方を向いている。少なくとも撮像装置３０ａ及び撮像装置３０ｃは、油圧ショベル１、実施形態では旋回体３の正面を向いている。撮像装置３０ｂ及び撮像装置３０ｄは、作業機２の方に若干向けられて、すなわち、撮像装置３０ａ及び撮像装置３０ｃ側の方に若干向けられて配置されることもある。
As shown in FIG. 2, the image pickup device 30a and the image pickup device 30b are arranged in the driver's cab 4 with a predetermined interval facing the same direction or different directions. The image pickup apparatus 30c and the image pickup apparatus 30d are arranged in the driver's cab 4 with a predetermined interval facing the same direction or different directions. The plurality of image pickup devices 30a, 30b, 30c, and 30d are combined to form a stereo camera. In the embodiment, a stereo camera with a combination of image pickup devices 30a and 30b and a stereo camera with a combination of image pickup devices 30c and 30d are configured. In the embodiment, the image pickup device 30a and the image pickup device 30b are facing upward, and the image pickup device 30c and the image pickup device 30d are facing downward. At least the image pickup device 30a and the image pickup device 30c face the front surface of the hydraulic excavator 1, in the embodiment, the swivel body 3. The image pickup device 30b and the image pickup device 30d may be arranged slightly toward the working machine 2, that is, toward the image pickup device 30a and the image pickup device 30c side.
実施形態において、油圧ショベル１は、４個の撮像装置３０を有するが、油圧ショベル１が有する撮像装置３０の数は少なくとも２個であればよく、４個に限定されない。油圧ショベル１は、少なくとも一対の撮像装置３０でステレオカメラを構成して、対象をステレオ撮影するからである。
In the embodiment, the hydraulic excavator 1 has four image pickup devices 30, but the number of image pickup devices 30 included in the hydraulic excavator 1 may be at least two and is not limited to four. This is because the hydraulic excavator 1 constitutes a stereo camera with at least a pair of image pickup devices 30 to shoot an object in stereo.
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、運転室４内の前方かつ上方に配置される。上方とは、油圧ショベル１が有する履帯５ａ，５ｂの接地面と直交し、かつ接地面から離れる方向側である。履帯５ａ，５ｂの接地面は、履帯５ａ，５ｂのうち少なくとも一方が接地する部分の、同一直線上には存在しない少なくとも３点で規定される平面である。下方は、上方とは反対方向側、すなわち履帯５ａ，５ｂの接地面と直交し、かつ接地面に向かう方向側である。
The plurality of image pickup devices 30a, 30b, 30c, and 30d are arranged in front of and above the driver's cab 4. The upper side is a side that is orthogonal to the ground contact surface of the tracks 5a and 5b of the hydraulic excavator 1 and is away from the ground contact surface. The ground contact surface of the tracks 5a and 5b is a plane defined by at least three points that do not exist on the same straight line at the portion where at least one of the tracks 5a and 5b is in contact with the ground. The lower side is the side opposite to the upper side, that is, the side orthogonal to the ground contact surface of the tracks 5a and 5b and toward the ground contact surface.
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の車体１Ｂの前方に存在する対象をステレオ撮影する。対象は、例えば、油圧ショベル１、油圧ショベル１の作業機械及び施工現場で作業する作業者の少なくとも１つの施工対象である。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、油圧ショベル１の所定の位置、本実施形態では運転室４内の前方かつ上方から対象を検出する。本実施形態においては、少なくとも一対の撮像装置３０によるステレオ撮影の結果を用いて、対象が三次元計測される。複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが配置される場所は、運転室４内の前方かつ上方に限定されるものではない。
The plurality of image pickup devices 30a, 30b, 30c, and 30d perform stereo imaging of an object existing in front of the vehicle body 1B of the hydraulic excavator 1. The target is, for example, at least one construction target of the hydraulic excavator 1, the work machine of the hydraulic excavator 1, and the worker working at the construction site. The plurality of image pickup devices 30a, 30b, 30c, and 30d detect an object from a predetermined position of the hydraulic excavator 1, in the present embodiment, from the front and above in the driver's cab 4. In the present embodiment, the object is three-dimensionally measured using the results of stereo imaging by at least a pair of imaging devices 30. The location where the plurality of image pickup devices 30a, 30b, 30c, and 30d are arranged is not limited to the front and the upper side in the driver's cab 4.
複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄのうち、例えば、撮像装置３０ｃをこれらの基準とする。４個の複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、それぞれ座標系を有する。これらの座標系を適宜、撮像装置座標系と称する。図２では、基準となる撮像装置３０ｃの座標系（ｘｓ，ｙｓ，ｚｓ）のみを示している。撮像装置座標系の原点は、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの中心である。
Of the plurality of image pickup devices 30a, 30b, 30c, and 30d, for example, the image pickup device 30c is used as a reference. The four plurality of image pickup devices 30a, 30b, 30c, and 30d each have a coordinate system. These coordinate systems are appropriately referred to as image pickup device coordinate systems. FIG. 2 shows only the coordinate system (xs, ys, zs) of the reference image pickup apparatus 30c. The origin of the image pickup device coordinate system is the center of each image pickup device 30a, 30b, 30c, 30d.
本実施形態において、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像範囲は、油圧ショベル１の作業機２が施工できる範囲よりも大きい。このようにすることで、各撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄは、作業機２が掘削できる範囲の対象を確実にステレオ撮影することができる。
In the present embodiment, the imaging range of each of the imaging devices 30a, 30b, 30c, and 30d is larger than the range that the working machine 2 of the hydraulic excavator 1 can construct. By doing so, each of the imaging devices 30a, 30b, 30c, and 30d can surely take a stereo image of an object in a range that can be excavated by the working machine 2.
前述した車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、車体１Ｂ、本実施形態では旋回体３に固定された原点を基準とする座標系である。実施形態において、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の原点は、例えば、旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回中心軸Ｚｒ上に存在する。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸は旋回体３の旋回中心軸Ｚｒとなる軸であり、Ｘｍ軸は旋回体３の前後方向に延び、かつＺｍ軸と直交する軸である。Ｘｍ軸は、旋回体３の前後方向における基準軸である。Ｙｍ軸は、Ｚｍ軸及びＸｍ軸と直交する、旋回体３の幅方向に延びる軸である。前述したグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。
The vehicle body coordinate system (Xm, Ym, Zm) described above is a coordinate system based on the origin fixed to the vehicle body 1B, that is, the rotating body 3 in the present embodiment. In the embodiment, the origin of the vehicle body coordinate system (Xm, Ym, Zm) is, for example, the center of the swing circle of the swivel body 3. The center of the swing circle exists on the swivel center axis Zr of the swivel body 3. The Zm axis of the vehicle body coordinate system (Xm, Ym, Zm) is the axis that becomes the turning center axis Zr of the turning body 3, and the Xm axis is an axis that extends in the front-rear direction of the turning body 3 and is orthogonal to the Zm axis. The Xm axis is a reference axis in the front-rear direction of the swivel body 3. The Ym axis is an axis extending in the width direction of the swivel body 3 orthogonal to the Zm axis and the Xm axis. The above-mentioned global coordinate system (Xg, Yg, Zg) is a coordinate system measured by GNSS and is a coordinate system with reference to the origin fixed to the earth.
車体座標系は、本実施形態の例には限定されない。車体座標系は、例えば、ブームピン１３の中心を車体座標系の原点としてもよい。ブームピン１３の中心とは、ブームピン１３が延びる方向と直交する平面でブームピン１３を切った時の断面の中心、かつブームピン１３が延びる方向における中心である。
The vehicle body coordinate system is not limited to the example of this embodiment. In the vehicle body coordinate system, for example, the center of the boom pin 13 may be the origin of the vehicle body coordinate system. The center of the boom pin 13 is the center of the cross section when the boom pin 13 is cut on a plane orthogonal to the direction in which the boom pin 13 extends, and the center in the direction in which the boom pin 13 extends.
＜作業機械の制御システム及び施工管理システム＞
図３は、実施形態に係る作業機械の制御システム５０及び施工管理システム１００を示す図である。図３に示される制御システム５０及び管理システム１００の装置構成は一例であり、本実施形態の装置構成例には限定されない。例えば、制御システム５０に含まれる各種の装置はそれぞれ独立していなくてもよい。すなわち、複数の装置の機能が１つの装置によって実現されてもよい。
<Work machine control system and construction management system>
FIG. 3 is a diagram showing a work machine control system 50 and a construction management system 100 according to the embodiment. The device configuration of the control system 50 and the management system 100 shown in FIG. 3 is an example, and is not limited to the device configuration example of the present embodiment. For example, the various devices included in the control system 50 do not have to be independent of each other. That is, the functions of the plurality of devices may be realized by one device.
作業機械の制御システム５０（以下、適宜、制御システム５０と称する）は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと、油圧ショベル１を制御するための各種の制御装置とを含む。これらは、図１に示される油圧ショベル１の車体１Ｂ、本実施形態では旋回体３に備えられている。本実施形態において、制御システム５０は、形状計測システムに相当する。
The control system 50 of the work machine (hereinafter, appropriately referred to as a control system 50) includes a plurality of image pickup devices 30a, 30b, 30c, 30d, and various control devices for controlling the hydraulic excavator 1. These are provided in the vehicle body 1B of the hydraulic excavator 1 shown in FIG. 1, and in the present embodiment, the swivel body 3. In this embodiment, the control system 50 corresponds to a shape measurement system.
制御システム５０が有する各種の制御装置は、図３に示される検出処理装置５１、施工情報生成装置５２、センサ制御装置５３、機関制御装置５４、ポンプ制御装置５５及び作業機制御装置５６を含む。この他に、制御システム５０は、油圧ショベル１の状態及び油圧ショベル１による施工の状況を管理する施工管理装置５７を有する。また、制御システム５０は、油圧ショベル１の情報を表示したり施工のガイダンス画像を画面５８Ｄに表示したりする表示装置５８と、油圧ショベル１の外部に存在する管理施設６０の管理装置６１、他の作業機械７０、携帯端末装置６４及び管理施設６０の管理装置６１以外の装置のうち少なくとも１つと通信する通信装置２５を有する。さらに、制御システム５０は、油圧ショベル１の制御に必要な情報を取得するための位置検出装置２３及び姿勢検出装置の一例であるＩＭＵ２４を有する。本実施形態において、制御システム５０は、少なくとも検出処理装置５１及び施工情報生成装置５２を有していればよい。
Various control devices included in the control system 50 include a detection processing device 51, a construction information generation device 52, a sensor control device 53, an engine control device 54, a pump control device 55, and a work machine control device 56 shown in FIG. In addition to this, the control system 50 includes a construction management device 57 that manages the state of the hydraulic excavator 1 and the construction status of the hydraulic excavator 1. Further, the control system 50 includes a display device 58 that displays information on the hydraulic excavator 1 and a guidance image of construction on the screen 58D, a management device 61 of a management facility 60 that exists outside the hydraulic excavator 1, and the like. It has a communication device 25 that communicates with at least one of devices other than the work machine 70, the mobile terminal device 64, and the management device 61 of the management facility 60. Further, the control system 50 includes a position detecting device 23 for acquiring information necessary for controlling the hydraulic excavator 1 and an IMU 24 which is an example of a posture detecting device. In the present embodiment, the control system 50 may have at least a detection processing device 51 and a construction information generation device 52.
実施形態において、検出処理装置５１、施工情報生成装置５２、センサ制御装置５３、機関制御装置５４、ポンプ制御装置５５、作業機制御装置５６、施工管理装置５７、表示装置５８、位置検出装置２３及び通信装置２５は、信号線５９に接続されて、相互に通信する。実施形態１において、信号線５９を用いた通信の規格はＣＡＮ（Controller Area Network）であるが、これに限定されない。以下において、油圧ショベル１というときには、油圧ショベル１が有する検出処理装置５１及び施工情報生成装置５２等の各種の電子装置を指すこともある。
In the embodiment, the detection processing device 51, the construction information generation device 52, the sensor control device 53, the engine control device 54, the pump control device 55, the work machine control device 56, the construction management device 57, the display device 58, the position detection device 23, and the like. The communication device 25 is connected to the signal line 59 and communicates with each other. In the first embodiment, the standard for communication using the signal line 59 is CAN (Controller Area Network), but the present invention is not limited to this. In the following, the term hydraulic excavator 1 may also refer to various electronic devices such as the detection processing device 51 and the construction information generation device 52 included in the hydraulic excavator 1.
図４は、油圧ショベル１が有する各種の機器類及び管理装置６１のハードウェア構成例を示す図である。実施形態において、油圧ショベル１が有する検出処理装置５１、施工情報生成装置５２、センサ制御装置５３、機関制御装置５４、ポンプ制御装置５５、作業機制御装置５６、施工管理装置５７、表示装置５８、位置検出装置２３及び通信装置２５、並びに管理装置６１は、図４に示されるように、処理部ＰＲ、記憶部ＭＲ及び入出力部ＩＯを有する。処理部ＰＲは、例えば、ＣＰＵ（Central Processing Unit）のようなプロセッサ及びメモリによって実現される。
FIG. 4 is a diagram showing a hardware configuration example of various devices and the management device 61 included in the hydraulic excavator 1. In the embodiment, the detection processing device 51, the construction information generation device 52, the sensor control device 53, the engine control device 54, the pump control device 55, the work machine control device 56, the construction management device 57, the display device 58, which the hydraulic excavator 1 has. As shown in FIG. 4, the position detection device 23, the communication device 25, and the management device 61 have a processing unit PR, a storage unit MR, and an input / output unit IO. The processing unit PR is realized by, for example, a processor such as a CPU (Central Processing Unit) and a memory.
記憶部ＭＲは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Random Access Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Random Access Memory）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク及び光磁気ディスクのうち少なくとも１つが用いられる。
The storage unit MR is a non-volatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Random Access Memory), flash memory, EPROM (Erasable Programmable Random Access Memory), and EEPROM (Electrically Erasable Programmable Random Access Memory). , Magnetic discs, flexible discs and optomagnetic discs are used.
入出力部ＩＯは、油圧ショベル１又は管理装置６１が、他の機器及び内部の装置とデータ及び信号等を送受信するためのインターフェース回路である。内部の装置には、油圧ショベル１内の信号線５９も含まれる。
The input / output unit IO is an interface circuit for the hydraulic excavator 1 or the management device 61 to transmit / receive data, signals, etc. to other devices and internal devices. The internal device also includes a signal line 59 in the hydraulic excavator 1.
油圧ショベル１と管理装置６１とは、それぞれの機能を処理部ＰＲに実現させるためのコンピュータプログラムを記憶部ＭＲに記憶している。油圧ショベル１の処理部ＰＲと管理装置６１の処理部ＰＲとは、記憶部ＭＲから前述したコンピュータプログラムを読み出して実行することにより、それぞれの装置の機能を実現する。油圧ショベル１が有する各種の電子装置、機器及び管理装置６１は、専用のハードウェアで実現されてもよいし、複数の処理回路が連携してそれぞれの機能を実現するものであってもよい。次に、油圧ショベル１が有する各種の電子装置及び機器について説明する。
The hydraulic excavator 1 and the management device 61 store in the storage unit MR a computer program for realizing each function in the processing unit PR. The processing unit PR of the hydraulic excavator 1 and the processing unit PR of the management device 61 realize the functions of the respective devices by reading and executing the above-mentioned computer program from the storage unit MR. The various electronic devices, devices, and management devices 61 included in the hydraulic excavator 1 may be realized by dedicated hardware, or a plurality of processing circuits may cooperate to realize their respective functions. Next, various electronic devices and devices included in the hydraulic excavator 1 will be described.
検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された対象の一対の画像に、ステレオ方式における画像処理を施すことにより、対象の位置、具体的には三次元座標系における対象の座標を求める。このように、検出処理装置５１は、同一の対象を少なくとも一対の撮像装置３０で撮像することによって得られた一対の画像を用いて、対象を三次元計測することができる。すなわち、少なくとも一対の撮像装置３０及び検出処理装置５１は、ステレオ方式により対象を三次元計測するものである。ステレオ方式における画像処理とは、同一の対象を２つの異なる撮像装置３０から観測して得られる２つの画像から、その対象までの距離を得る手法である。対象までの距離は、例えば、対象までの距離情報を濃淡により可視化した距離画像として表現される。
The detection processing device 51 performs image processing in a stereo system on at least a pair of images of a target image captured by the pair of imaging devices 30 to obtain the position of the target, specifically, the coordinates of the target in a three-dimensional coordinate system. Ask. As described above, the detection processing device 51 can measure the object three-dimensionally by using the pair of images obtained by imaging the same object with at least a pair of image pickup devices 30. That is, at least a pair of the imaging device 30 and the detection processing device 51 measure the object three-dimensionally by the stereo method. Image processing in the stereo system is a method of obtaining a distance to an object from two images obtained by observing the same object from two different imaging devices 30. The distance to the target is expressed as, for example, a distance image in which the distance information to the target is visualized by shading.
検出処理装置５１は、少なくとも一対の撮像装置３０によって検出された対象の情報を取得し、取得した対象の情報から対象の三次元形状を示す形状情報を求める。本実施形態では、少なくとも一対の撮像装置３０が対象を撮像することにより対象の情報を生成して出力する。対象の情報は、少なくとも一対の撮像装置３０によって撮像された施工対象の画像である。検出処理装置５１は、対象の画像にステレオ方式による画像処理を施すことにより、形状情報を求め、出力する。本実施形態において、少なくとも一対の撮像装置３０を有する油圧ショベル１の施工対象が少なくとも一対の撮像装置３０によって撮像されるが、他の作業機械の施工対象が、少なくとも一対の撮像装置３０によって撮像されてもよい。
The detection processing device 51 acquires information on the target detected by at least a pair of image pickup devices 30, and obtains shape information indicating the three-dimensional shape of the target from the acquired target information. In the present embodiment, at least a pair of image pickup devices 30 generate and output information on the target by imaging the target. The target information is an image of the construction target captured by at least a pair of image pickup devices 30. The detection processing device 51 obtains and outputs shape information by performing image processing on the target image by a stereo method. In the present embodiment, the construction target of the hydraulic excavator 1 having at least a pair of imaging devices 30 is imaged by at least a pair of imaging devices 30, but the construction target of another work machine is imaged by at least a pair of imaging devices 30. You may.
本実施形態において、撮像装置３０が検出する対象は、施工の対象（以下、適宜、施工対象と称する）及び施工後の対象である。本実施形態において、施工対象及び施工後の対象は、撮像装置３０を有する油圧ショベル１、他の油圧ショベル１ｏｔ、油圧ショベル以外の作業機械及び作業者のうち少なくとも１つの施工対象及び施工後の対象であればよい。
In the present embodiment, the targets detected by the image pickup apparatus 30 are the target of construction (hereinafter, appropriately referred to as a construction target) and the target after construction. In the present embodiment, the construction target and the post-construction target are at least one construction target and a post-construction target among a hydraulic excavator 1 having an image pickup device 30, another hydraulic excavator 1ot, a work machine other than the hydraulic excavator, and a worker. It should be.
検出処理装置５１は、演算部５１Ａ及び情報付与部５１Ｂを有する。演算部５１Ａは、少なくとも一対の撮像装置３０によって撮像された一対の画像に、ステレオ方式における画像処理を施して形状情報を求める。情報付与部５１Ｂは、形状情報に各種の情報を付けて出力する。形状情報に付される各種の情報は、時刻情報がある。時刻情報は、対象が演算部５１Ａ及び少なくとも一対の撮像装置３０によって検出された時刻から、形状情報が出力される時刻までの間に存在する少なくとも１つの時刻の情報を含む。時刻情報は、例えば、検出処理装置５１内のタイマから取得される。各種の情報は、時刻情報の他に、少なくとも一対の撮像装置３０が対象を撮像した位置を示す情報及び対象を撮像した撮像装置３０を有する油圧ショベル１を識別するための情報のうち少なくとも一方をさらに含んでもよい。演算部５１Ａ及び情報付与部５１Ｂの機能は、図４に示される処理部ＰＲが実現する。
The detection processing device 51 has a calculation unit 51A and an information addition unit 51B. The calculation unit 51A performs image processing in a stereo system on at least a pair of images captured by the pair of imaging devices 30 to obtain shape information. The information giving unit 51B adds various types of information to the shape information and outputs the information. Various types of information attached to the shape information include time information. The time information includes information on at least one time that exists between the time when the target is detected by the calculation unit 51A and at least a pair of image pickup devices 30 and the time when the shape information is output. The time information is acquired from, for example, a timer in the detection processing device 51. In addition to the time information, various types of information include at least one of information indicating a position where at least a pair of image pickup devices 30 have imaged an object and information for identifying a hydraulic excavator 1 having an image pickup device 30 that has imaged an object. Further may be included. The functions of the calculation unit 51A and the information addition unit 51B are realized by the processing unit PR shown in FIG.
本実施形態において、少なくとも一対の撮像装置３０は、油圧ショベル１に取り付けられて、対象を検出して対象の情報を出力する対象検出部に相当する。検出処理装置５１は、少なくとも一対の撮像装置３０によって検出された対象の情報を用いて、対象の三次元形状を表す形状情報を出力する形状検出部に相当する。少なくとも一対の撮像装置３０の代わりにレーザスキャナのような３Ｄスキャナが用いられてもよい。３Ｄスキャナは、対象を検出して対象の三次元形状を示す形状情報を出力するので、前述した対象検出部及び形状検出部の機能を有している。
In the present embodiment, at least a pair of image pickup devices 30 correspond to a target detection unit that is attached to the hydraulic excavator 1 to detect a target and output target information. The detection processing device 51 corresponds to a shape detection unit that outputs shape information representing a three-dimensional shape of the target by using the information of the target detected by at least a pair of image pickup devices 30. A 3D scanner such as a laser scanner may be used instead of at least a pair of imaging devices 30. Since the 3D scanner detects the target and outputs the shape information indicating the three-dimensional shape of the target, it has the functions of the target detection unit and the shape detection unit described above.
検出処理装置５１には、ハブ３１及び撮像スイッチ３２が接続される。ハブ３１は、複数の撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが接続されている。ハブ３１を用いずに、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄと検出処理装置５１とが接続されてもよい。撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄの撮像した結果は、ハブ３１を介して検出処理装置５１に入力される。検出処理装置５１は、ハブ３１を介して、撮像装置３０ａ，３０ｂ，３０ｃ，３０ｄが撮像した結果、本実施形態では対象の画像を取得する。本実施形態において、撮像スイッチ３２が操作されると、少なくとも一対の撮像装置３０は対象を撮像する。撮像スイッチ３２は、図２に示される運転室４内に設置される。例えば、撮像スイッチ３２は、操作装置３５の近傍に設置されるが、撮像スイッチ３２の設置場所はこれに限定されない。
A hub 31 and an image pickup switch 32 are connected to the detection processing device 51. A plurality of image pickup devices 30a, 30b, 30c, and 30d are connected to the hub 31. The image pickup apparatus 30a, 30b, 30c, 30d and the detection processing apparatus 51 may be connected without using the hub 31. The imaging results of the imaging devices 30a, 30b, 30c, and 30d are input to the detection processing device 51 via the hub 31. The detection processing device 51 acquires an image of a target in the present embodiment as a result of imaging by the image pickup devices 30a, 30b, 30c, and 30d via the hub 31. In the present embodiment, when the image pickup switch 32 is operated, at least a pair of image pickup devices 30 image an object. The image pickup switch 32 is installed in the driver's cab 4 shown in FIG. For example, the image pickup switch 32 is installed in the vicinity of the operating device 35, but the installation location of the image pickup switch 32 is not limited to this.
制御システム５０は、少なくとも一対の撮像装置３０によって対象の画像を取得する場合、旋回体３を旋回開始と同時に撮像を開始し旋回停止によって撮像を終了し、その旋回中に取得した画像をもとにステレオ方式における画像処理を施して形状情報を求めるようにしてもよい。この場合、制御システム５０は、例えば、操作装置３５のうち旋回体３を旋回させるための操作装置の操作にともなって出力される、パイロット圧の変化を示す信号又は電気信号を検出処理装置５１が受信し、旋回体３の旋回開始と旋回停止のタイミングとを判断し撮像する。
When the control system 50 acquires an image of an object by at least a pair of image pickup devices 30, the control system 50 starts imaging at the same time as the rotation of the swivel body 3 starts, ends the imaging by stopping the rotation, and uses the images acquired during the rotation. The shape information may be obtained by performing image processing in the stereo system. In this case, in the control system 50, for example, the detection processing device 51 detects a signal or an electric signal indicating a change in the pilot pressure, which is output in association with the operation of the operating device for turning the swivel body 3 among the operating devices 35. Upon receiving the signal, the timing of turning start and turning of the turning body 3 is determined and an image is taken.
施工情報生成装置５２は、油圧ショベル１が施工対象を施工するときに目標とする形状の情報である目標施工情報を求めて、出力する。本実施形態において、施工情報生成装置５２は、検出処理装置５１が求めた施工対象の形状情報を用いて目標施工情報を求める。本実施形態において、目標施工情報は、施工対象が施工されるときに目標とされる形状を、グローバル座標系における三次元座標で表した位置情報である。目標施工情報は、グローバル座標系以外の座標系における三次元座標の情報であってもよい。本実施形態において、施工情報生成装置５２は、施工情報生成部に相当する。
The construction information generation device 52 obtains and outputs target construction information, which is information on a target shape when the hydraulic excavator 1 constructs a construction target. In the present embodiment, the construction information generation device 52 obtains the target construction information by using the shape information of the construction target obtained by the detection processing device 51. In the present embodiment, the target construction information is position information in which the target shape when the construction target is constructed is represented by three-dimensional coordinates in the global coordinate system. The target construction information may be information on three-dimensional coordinates in a coordinate system other than the global coordinate system. In the present embodiment, the construction information generation device 52 corresponds to the construction information generation unit.
少なくとも一対の撮像装置３０が取得した施工対象の情報が通信装置２５を介して油圧ショベル１の外部に送信され、例えば、管理装置６１が三次元座標系における対象の座標を求めてもよい。この場合、管理装置６１は、検出処理装置５１の機能を実現する。また、管理装置６１は、施工情報生成装置５２の機能を実現してもよい。通信装置２５を介して、油圧ショベル１に搭載された検出処理装置５１が求めた施工対象の形状情報が油圧ショベル１の外部に送信され、例えば管理装置６１が目標施工情報を求めてもよい。この場合、管理装置６１は、施工情報生成装置５２の機能を実現する。
Information on the construction target acquired by at least a pair of image pickup devices 30 may be transmitted to the outside of the hydraulic excavator 1 via the communication device 25, and for example, the management device 61 may obtain the coordinates of the target in the three-dimensional coordinate system. In this case, the management device 61 realizes the function of the detection processing device 51. Further, the management device 61 may realize the function of the construction information generation device 52. The shape information of the construction target obtained by the detection processing device 51 mounted on the hydraulic excavator 1 may be transmitted to the outside of the hydraulic excavator 1 via the communication device 25, and the management device 61 may obtain the target construction information, for example. In this case, the management device 61 realizes the function of the construction information generation device 52.
センサ制御装置５３は、油圧ショベル１の状態の情報及び油圧ショベル１の周囲の状態の情報を検出するためのセンサ類が接続される。センサ制御装置５３は、センサ類から取得した情報を、他の電子装置及び機器が取り扱うことのできるフォーマットに変換して出力する。油圧ショベル１の状態の情報は、例えば、油圧ショベル１の姿勢の情報及び作業機２の姿勢の情報等である。図３に示される例では、油圧ショベル１の状態の情報を検出するセンサとして、ＩＭＵ２４、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃがセンサ制御装置５３に接続されているが、センサ類はこれらに限定されない。
The sensor control device 53 is connected to sensors for detecting the state information of the hydraulic excavator 1 and the information of the surrounding state of the hydraulic excavator 1. The sensor control device 53 converts the information acquired from the sensors into a format that can be handled by other electronic devices and devices and outputs the information. The information on the state of the hydraulic excavator 1 is, for example, information on the posture of the hydraulic excavator 1 and information on the posture of the working machine 2. In the example shown in FIG. 3, the IMU 24, the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C are connected to the sensor control device 53 as sensors for detecting the state information of the hydraulic excavator 1. However, the sensors are not limited to these.
ＩＭＵ２４は、自身に作用する加速度及び角速度、すなわち油圧ショベル１に作用する加速度及び角速度を検出して出力する。油圧ショベル１に作用する加速度及び角速度から、油圧ショベル１の姿勢が分かる。油圧ショベル１の姿勢を検出できれば、ＩＭＵ２４以外の装置であってもよい。本実施形態において、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、例えばストロークセンサである。これらは、それぞれが、ブームシリンダ１０、アームシリンダ１１及びバケットシリンダ１２のストローク長さを検出することにより、車体１Ｂに対するブーム６の回動角と、ブーム６に対するアーム７の回動角と、アーム７に対するバケット８の回動角とを間接的に検出する。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された車体１Ｂに対するブーム６の回動角、ブーム６に対するアーム７の回動角及びアーム７に対するバケット８の回動角と、作業機２の寸法とから、車体座標系における作業機２の部分の位置が分かる。例えば、作業機２の部分の位置としては、例えば、バケット８の刃先８ＢＴの位置である。第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃは、ストロークセンサに代えてポテンショメータ又は傾斜計であってもよい。
The IMU 24 detects and outputs the acceleration and the angular velocity acting on itself, that is, the acceleration and the angular velocity acting on the hydraulic excavator 1. The posture of the hydraulic excavator 1 can be known from the acceleration and the angular velocity acting on the hydraulic excavator 1. A device other than the IMU 24 may be used as long as the posture of the hydraulic excavator 1 can be detected. In the present embodiment, the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C are, for example, stroke sensors. By detecting the stroke lengths of the boom cylinder 10, the arm cylinder 11, and the bucket cylinder 12, each of these detects the rotation angle of the boom 6 with respect to the vehicle body 1B, the rotation angle of the arm 7 with respect to the boom 6, and the arm. The rotation angle of the bucket 8 with respect to 7 is indirectly detected. The rotation angle of the boom 6 with respect to the vehicle body 1B detected by the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C, the rotation angle of the arm 7 with respect to the boom 6, and the bucket 8 with respect to the arm 7. From the rotation angle and the dimensions of the work machine 2, the position of the part of the work machine 2 in the vehicle body coordinate system can be known. For example, the position of the portion of the working machine 2 is, for example, the position of the cutting edge 8BT of the bucket 8. The first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C may be a potentiometer or an inclinometer instead of the stroke sensor.
機関制御装置５４は、油圧ショベル１の動力発生装置である内燃機関２７を制御する。内燃機関２７は、例えばディーゼルエンジンであるが、これに限定されない。また、油圧ショベル１の動力発生装置は、内燃機関２７と発電電動機とを組み合わせたハイブリッド方式の装置であってもよい。内燃機関２７は、油圧ポンプ２８を駆動する。
The engine control device 54 controls the internal combustion engine 27, which is the power generator of the hydraulic excavator 1. The internal combustion engine 27 is, for example, a diesel engine, but is not limited thereto. Further, the power generator of the hydraulic excavator 1 may be a hybrid type device in which the internal combustion engine 27 and the generator motor are combined. The internal combustion engine 27 drives the hydraulic pump 28.
ポンプ制御装置５５は、油圧ポンプ２８から吐出される作動油の流量を制御する。本実施形態において、ポンプ制御装置５５は、油圧ポンプ２８から吐出される作動油の流量を調整するための制御指令の信号を生成する。ポンプ制御装置５５は、生成した制御信号を用いて油圧ポンプ２８の斜板角を変更することにより、油圧ポンプ２８から吐出される作動油の流量を変更する。油圧ポンプ２８から吐出された作動油は、コントロールバルブ２９に供給される。コントロールバルブ２９は、油圧ポンプ２８から供給された作動油を、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び油圧モータ５Ｍ等の油圧機器に供給して、これらを駆動する。
The pump control device 55 controls the flow rate of the hydraulic oil discharged from the hydraulic pump 28. In the present embodiment, the pump control device 55 generates a control command signal for adjusting the flow rate of the hydraulic oil discharged from the hydraulic pump 28. The pump control device 55 changes the flow rate of the hydraulic oil discharged from the hydraulic pump 28 by changing the angle of the slant plate of the hydraulic pump 28 using the generated control signal. The hydraulic oil discharged from the hydraulic pump 28 is supplied to the control valve 29. The control valve 29 supplies the hydraulic oil supplied from the hydraulic pump 28 to hydraulic devices such as the boom cylinder 10, the arm cylinder 11, the bucket cylinder 12, and the hydraulic motor 5M to drive them.
作業機制御装置５６は、例えば、バケット８の刃先８ＢＴを目標とする施工面に沿って移動させる制御を実行する。作業機制御装置５６は、作業機制御部に相当する。この制御を、以下においては適宜、作業機制御と称する。作業機制御装置５６は、作業機制御を実行するにあたって、例えば、施工情報生成装置５２が生成した目標施工情報を取得し、目標施工情報に含まれる目標施工面にバケット８の刃先８ＢＴが沿うようにコントロールバルブ２９を制御して作業機２を制御する。油圧ショベル１は、作業機制御装置５６を備えずに、後述する方法で得られた目標施工情報と自身の作業機２との位置関係を、表示装置５８の画面５８Ｄに施工のガイダンス画像として表示可能であってもよい。
The work machine control device 56 executes control for moving the cutting edge 8BT of the bucket 8 along the target construction surface, for example. The work machine control device 56 corresponds to the work machine control unit. In the following, this control will be appropriately referred to as work equipment control. When the work machine control device 56 executes the work machine control, for example, the work machine control device 56 acquires the target construction information generated by the construction information generation device 52 so that the cutting edge 8BT of the bucket 8 follows the target construction surface included in the target construction information. The control valve 29 is controlled to control the working machine 2. The hydraulic excavator 1 does not include the work machine control device 56, and displays the positional relationship between the target construction information obtained by the method described later and its own work machine 2 as a construction guidance image on the screen 58D of the display device 58. It may be possible.
施工管理装置５７は、例えば、検出処理装置５１が求めた形状情報、施工情報生成装置５２によって生成された目標施工情報、油圧ショベル１が施工対象を施工した施工結果の形状情報、及び油圧ショベル１がこれから施工しようとする施工対象の現況地形を示す形状情報の少なくとも１つを収集し、記憶部５７Ｍに記憶させる。施工管理装置５７は、記憶部５７Ｍに記憶させた施工結果を、通信装置２５を介して管理装置６１又は携帯端末装置６４に送信する。施工管理装置５７は、記憶部５７Ｍに記憶させた施工結果を、通信装置２５を介して管理装置６１又は携帯端末装置６４に送信する。施工管理装置５７は、検出処理装置５１が求めた形状情報及び目標施工情報の少なくとも一方を収集し、記憶部５７Ｍに記憶せずに管理装置６１又は携帯端末装置６４に送信してもよい。記憶部５７Ｍは、図４に示される記憶部ＭＲに相当する。
The construction management device 57 includes, for example, the shape information obtained by the detection processing device 51, the target construction information generated by the construction information generation device 52, the shape information of the construction result of the hydraulic excavator 1 constructing the construction target, and the hydraulic excavator 1. Collects at least one of the shape information indicating the current terrain of the construction target to be constructed, and stores it in the storage unit 57M. The construction management device 57 transmits the construction result stored in the storage unit 57M to the management device 61 or the mobile terminal device 64 via the communication device 25. The construction management device 57 transmits the construction result stored in the storage unit 57M to the management device 61 or the mobile terminal device 64 via the communication device 25. The construction management device 57 may collect at least one of the shape information and the target construction information obtained by the detection processing device 51 and transmit it to the management device 61 or the mobile terminal device 64 without storing it in the storage unit 57M. The storage unit 57M corresponds to the storage unit MR shown in FIG.
施工管理装置５７は、油圧ショベル１の外部に設けられた、例えば管理装置６１に設けられてもよい。この場合、施工管理装置５７は、油圧ショベル１から通信装置２５を介して形状情報又は施工結果を取得する。
The construction management device 57 may be provided on, for example, a management device 61 provided outside the hydraulic excavator 1. In this case, the construction management device 57 acquires shape information or construction results from the hydraulic excavator 1 via the communication device 25.
施工結果は、例えば、少なくとも一対の撮像装置３０が施工後の施工対象を撮像し、検出処理装置５１が撮像結果にステレオ方式による画像処理を施すことによって求められた形状情報である。以下、施工しようとする施工対象の現況地形を示す形状情報を、適宜、現況地形情報と称する。また、形状情報は、施工結果を示す形状情報である場合と、現況地形を示す形状情報である場合とがある。現況地形情報とは、例えば、油圧ショベル１、他の作業機械７０又は作業者等が施工しようとする施工対象が少なくとも一対の撮像装置３０によって撮像され、検出処理装置５１によって求められた形状情報である。
The construction result is, for example, shape information obtained by at least a pair of imaging devices 30 imaging a construction target after construction and the detection processing device 51 performing image processing by a stereo method on the imaging result. Hereinafter, the shape information indicating the current topography of the construction target to be constructed is appropriately referred to as the current topography information. Further, the shape information may be shape information indicating a construction result or shape information indicating the current topography. The current topographical information is, for example, shape information obtained by capturing images of a construction target to be constructed by a hydraulic excavator 1, another work machine 70, a worker, or the like by at least a pair of image pickup devices 30, and a detection processing device 51. is there.
施工管理装置５７は、例えば、一日の作業が終了した後に施工結果を収集して管理装置６１及び携帯端末装置６４の少なくとも一方に送信したり、一日の作業のうち複数回施工結果を収集して管理装置６１及び携帯端末装置６４の少なくとも一方に送信したりする。施工管理装置５７は、例えば朝の作業前に、施工前の形状情報を管理装置６１又は携帯端末装置６４に送信してもよい。
For example, the construction management device 57 collects the construction result after the work of the day is completed and sends it to at least one of the management device 61 and the mobile terminal device 64, or collects the construction result a plurality of times in the work of the day. Then, it is transmitted to at least one of the management device 61 and the mobile terminal device 64. The construction management device 57 may transmit the shape information before construction to the management device 61 or the mobile terminal device 64, for example, before the work in the morning.
本実施形態では、施工管理装置５７は、例えば一日の作業のうち、正午と作業終了時との２回の施工結果を収集し、管理装置６１又は携帯端末装置６４に送信する。施工結果は、施工現場全体のうち、施工が行われた範囲が撮像されることによって得られた施工結果であってもよいし、施工現場全体が撮像されることによって得られた施工結果であってもよい。管理装置６１又は携帯端末装置６４に送信される施工結果を施工が行われた範囲のものとすることにより、撮像時間、画像処理時間及び施工結果の送信時間の増加を抑制できるので好ましい。
In the present embodiment, the construction management device 57 collects the construction results of two times, for example, at noon and at the end of the work in one day, and transmits them to the management device 61 or the mobile terminal device 64. The construction result may be the construction result obtained by imaging the area where the construction was performed in the entire construction site, or the construction result obtained by imaging the entire construction site. You may. It is preferable that the construction result transmitted to the management device 61 or the mobile terminal device 64 is within the range where the construction is performed, because it is possible to suppress an increase in the imaging time, the image processing time, and the transmission time of the construction result.
表示装置５８は、液晶表示パネルのようなディスプレイの画面５８Ｄに、油圧ショベル１の情報を表示したり施工のガイダンス画像を画面５８Ｄに表示したりする他、本実施形態においては、前述した作業機制御が実行される場合に作業機２の位置を求める。表示装置５８が求める刃先８ＢＴの位置は、本実施形態はバケット８の刃先８ＢＴの位置である。表示装置５８は、位置検出装置２３が検出したアンテナ２１，２２の現在位置と、第１角度検出部１８Ａ、第２角度検出部１８Ｂ及び第３角度検出部１８Ｃによって検出された回動角と、記憶部ＭＲに記憶された作業機２の寸法と、ＩＭＵ２４の出力データとを取得し、これらを用いてバケット８の刃先８ＢＴの位置を求める。本実施形態では、表示装置５８がバケット８の刃先８ＢＴの位置を求めているが、バケット８の刃先８ＢＴの位置は表示装置５８以外の装置が求めてもよい。
The display device 58 displays information on the hydraulic excavator 1 on the screen 58D of a display such as a liquid crystal display panel, displays a guidance image of construction on the screen 58D, and in the present embodiment, the above-mentioned working machine. The position of the work machine 2 is obtained when the control is executed. The position of the cutting edge 8BT required by the display device 58 is the position of the cutting edge 8BT of the bucket 8 in the present embodiment. The display device 58 includes the current positions of the antennas 21 and 22 detected by the position detection device 23, the rotation angles detected by the first angle detection unit 18A, the second angle detection unit 18B, and the third angle detection unit 18C. The dimensions of the working machine 2 stored in the storage unit MR and the output data of the IMU 24 are acquired, and the positions of the cutting edge 8BT of the bucket 8 are obtained using these. In the present embodiment, the display device 58 obtains the position of the cutting edge 8BT of the bucket 8, but the position of the cutting edge 8BT of the bucket 8 may be obtained by a device other than the display device 58.
通信装置２５は、本実施形態における通信部である。通信装置２５は、管理施設６０の管理装置６１、他の作業機械７０及び携帯端末装置６４の少なくとも１つと通信回線ＮＴＷを介して通信して、互いに情報をやり取りする。通信装置２５がやり取りする情報のうち、制御システム５０から管理装置６１、他の作業機械７０及び携帯端末装置６４の少なくとも１つに送信する情報は、施工に関する情報がある。施工に関する情報は、前述した形状情報及び形状情報から得られた情報の少なくとも一方を含む。形状情報から得られた情報は、例えば、前述した目標施工情報及び形状情報を加工して得られた情報を含むが、これらに限定されるものではない。施工に関する情報は、検出処理装置５１の記憶部、施工情報生成装置５２の記憶部及び施工管理装置５７の記憶部５７Ｍに記憶されてから通信装置２５によって送信されてもよいし、記憶されずに送信されてもよい。
The communication device 25 is a communication unit in the present embodiment. The communication device 25 communicates with at least one of the management device 61 of the management facility 60, the other work machine 70, and the mobile terminal device 64 via the communication line NTW, and exchanges information with each other. Among the information exchanged by the communication device 25, the information transmitted from the control system 50 to at least one of the management device 61, the other work machine 70, and the mobile terminal device 64 includes information related to construction. The construction information includes at least one of the above-mentioned shape information and information obtained from the shape information. The information obtained from the shape information includes, for example, the target construction information described above and information obtained by processing the shape information, but is not limited thereto. Information about construction may be stored in the storage unit of the detection processing device 51, the storage unit of the construction information generation device 52, and the storage unit 57M of the construction management device 57, and then transmitted by the communication device 25, or may not be stored. It may be transmitted.
本実施形態において、通信装置２５は無線通信によって通信する。このため、通信装置２５は、無線通信用のアンテナ２５Ａを有する。携帯端末装置６４は、例えば、油圧ショベル１の作業を管理する管理者が所持しているものであるが、これに限定されない。他の作業機械７０は、制御システム５０を有する油圧ショベル１及び管理装置６１の少なくとも一方と通信する機能を有している。他の作業機械７０は、制御システム５０を有する油圧ショベル１であってもよいし、制御システム５０を有さない油圧ショベルであってもよいし、油圧ショベル以外の作業機械であってもよい。通信装置２５は、管理施設６０の管理装置６１、他の作業機械７０及び携帯端末装置６４の少なくとも１つと有線通信を介して通信して、互いに情報をやり取りするようにしてもよい。
In the present embodiment, the communication device 25 communicates by wireless communication. Therefore, the communication device 25 has an antenna 25A for wireless communication. The mobile terminal device 64 is, for example, owned by an administrator who manages the work of the hydraulic excavator 1, but is not limited thereto. The other work machine 70 has a function of communicating with at least one of the hydraulic excavator 1 having the control system 50 and the management device 61. The other work machine 70 may be a hydraulic excavator 1 having a control system 50, a hydraulic excavator without a control system 50, or a work machine other than the hydraulic excavator. The communication device 25 may communicate with at least one of the management device 61 of the management facility 60, the other work machine 70, and the mobile terminal device 64 via wired communication to exchange information with each other.
施工管理システム１００は、管理施設６０の管理装置６１と、制御システム５０と、制御システム５０を有する油圧ショベル１とを含む。施工管理システム１００は、さらに携帯端末装置６４を含んでいてもよい。施工管理システム１００に含まれる、制御システム５０を有する油圧ショベル１は単数でもよいし、複数でもよい。管理施設６０は、管理装置６１と、通信装置６２とを有する。管理装置６１は、通信装置６２及び通信回線ＮＴＷを介して、少なくとも油圧ショベル１と通信する。管理装置６１は、携帯端末装置６４と通信したり、他の作業機械７０と通信したりしてもよい。油圧ショベル１と、他の油圧ショベル１ｏｔ及び作業機械の少なくとも一方とは、直接、車車間で無線通信できるように無線通信機器を搭載してもよい。そして、油圧ショベル１、他の油圧ショベル１ｏｔ及び作業機械の少なくとも１つは、管理施設６０の管理装置６１等で実行される処理を実行できるような機器又は電子装置を搭載してもよい。
The construction management system 100 includes a management device 61 of the management facility 60, a control system 50, and a hydraulic excavator 1 having the control system 50. The construction management system 100 may further include a mobile terminal device 64. The hydraulic excavator 1 having the control system 50 included in the construction management system 100 may be singular or plural. The management facility 60 has a management device 61 and a communication device 62. The management device 61 communicates with at least the hydraulic excavator 1 via the communication device 62 and the communication line NTW. The management device 61 may communicate with the mobile terminal device 64 or may communicate with another work machine 70. The hydraulic excavator 1 and at least one of the other hydraulic excavator 1ot and the work machine may be equipped with a wireless communication device so that wireless communication can be performed directly between vehicles. Then, at least one of the hydraulic excavator 1, the other hydraulic excavator 1ot, and the work machine may be equipped with a device or an electronic device capable of executing a process executed by the management device 61 or the like of the management facility 60.
管理装置６１は、油圧ショベル１から施工結果及び現況地形情報の少なくとも一方を受け取り、施工の進捗状況を管理する。管理装置６１は、油圧ショベル１から形状情報を受け取り、これを用いて目標施工情報を生成して油圧ショベル１に送信してもよい。管理装置６１は、施工対象の設計情報から目標施工情報を生成し、油圧ショベル１に送信してもよい。管理装置６１は、油圧ショベル１から受け取った施工結果を加工して、施工の進捗情報を動画にして表示装置６７に表示したり、動画の情報を油圧ショベル１又は携帯端末装置６４に送信して油圧ショベル１の表示装置５８に表示させたり携帯端末装置６４の画面に表示させたりしてもよい。前述したように、管理装置６１で実行される目標施工情報の生成は、油圧ショベル１及び他の作業機械７０の少なくとも１つで実行してもよい。
The management device 61 receives at least one of the construction result and the current topographical information from the hydraulic excavator 1 and manages the progress of the construction. The management device 61 may receive shape information from the hydraulic excavator 1, generate target construction information using the shape information, and transmit it to the hydraulic excavator 1. The management device 61 may generate target construction information from the design information of the construction target and transmit it to the hydraulic excavator 1. The management device 61 processes the construction result received from the hydraulic excavator 1 and displays the progress information of the construction as a moving image on the display device 67, or transmits the moving image information to the hydraulic excavator 1 or the mobile terminal device 64. It may be displayed on the display device 58 of the hydraulic excavator 1 or displayed on the screen of the mobile terminal device 64. As described above, the generation of the target construction information executed by the management device 61 may be executed by at least one of the hydraulic excavator 1 and the other work machine 70.
＜施工対象の施工＞
実施形態１において、制御システム５０は、図２に示される複数の撮像装置３０のうち少なくとも２つによって施工対象を撮像することによって、施工対象の形状を示す情報である形状情報を得る。そして、制御システム５０は、得られた形状情報を用いて目標施工情報を求める。油圧ショベル１が施工対象を施工する場合、制御システム５０は、求めた目標施工情報に沿うように、作業機２を制御する。
<Construction for construction>
In the first embodiment, the control system 50 obtains shape information which is information indicating the shape of the construction target by imaging the construction target with at least two of the plurality of imaging devices 30 shown in FIG. Then, the control system 50 obtains the target construction information using the obtained shape information. When the hydraulic excavator 1 constructs the construction target, the control system 50 controls the work machine 2 so as to meet the obtained target construction information.
図５は、実施形態１に係る油圧ショベル１が施工する施工現場の一例を示す図である。実施形態１において、油圧ショベル１の施工対象ＯＢＰは、地面である。本実施形態において、施工対象ＯＢＰは、施工現場の少なくとも一部の領域である。本実施形態において油圧ショベル１が施工対象ＯＢＰに施す施工は、図５に示されるように、施工対象ＯＢＰの表面ＯＢＳから予め定められた深さΔＤＰだけ、表土を削り取る作業である。施工対象ＯＢＰのうち、施工が実行された部分は、施工実行部分ＯＢＦとなる。施工実行部分ＯＢＦは、施工計画によっては、施工が必要でない部分を示す場合もある。施工実行部分ＯＢＦは、施工対象ＯＢＰの少なくとも一部である。次に、制御システム５０が求める形状情報を説明する。
FIG. 5 is a diagram showing an example of a construction site where the hydraulic excavator 1 according to the first embodiment is constructed. In the first embodiment, the construction target OBP of the hydraulic excavator 1 is the ground. In the present embodiment, the construction target OBP is at least a part of the construction site. In the present embodiment, the construction performed by the hydraulic excavator 1 on the construction target OBP is a work of scraping the topsoil from the surface OBS of the construction target OBP by a predetermined depth ΔDP, as shown in FIG. Of the construction target OBP, the portion where the construction is executed becomes the construction execution portion OBF. Depending on the construction plan, the construction execution part OBF may indicate a part that does not require construction. The construction execution portion OBF is at least a part of the construction target OBP. Next, the shape information required by the control system 50 will be described.
＜対象の撮像及び形状情報の生成＞
図６は、実施形態１に係る作業機械の制御システムが求める形状情報について説明するための図である。この場合、形状情報は、油圧ショベル１がこれから施工しようとする部分である施工対象ＯＢＰは油圧ショベル１の前方にある。形状情報は、施工対象ＯＢＰから求められる。制御システム５０は、施工対象ＯＢＰから形状情報を生成する場合、少なくとも一対の撮像装置３０に施工対象ＯＢＰを撮像させる。本実施形態では、油圧ショベル１のオペレータが、図３に示される撮像スイッチ３２を操作して撮像指令を検出処理装置５１に入力すると、検出処理装置５１は少なくとも一対の撮像装置３０に施工対象ＯＢＰを撮像させる。
<Image of the target and generation of shape information>
FIG. 6 is a diagram for explaining shape information required by the control system of the work machine according to the first embodiment. In this case, the shape information is that the construction target OBP, which is the part to be constructed by the hydraulic excavator 1, is in front of the hydraulic excavator 1. The shape information is obtained from the construction target OBP. When the control system 50 generates shape information from the construction target OBP, the control system 50 causes at least a pair of image pickup devices 30 to image the construction target OBP. In the present embodiment, when the operator of the hydraulic excavator 1 operates the image pickup switch 32 shown in FIG. 3 to input an image pickup command to the detection processing device 51, the detection processing device 51 is installed on at least a pair of image pickup devices 30. Is imaged.
制御システム５０の検出処理装置５１は、少なくとも一対の撮像装置３０が撮像した施工対象ＯＢＰの画像にステレオ方式による画像処理を施して、施工対象ＯＢＰの位置情報、本実施形態では三次元位置情報を求める。検出処理装置５１が求めた施工対象ＯＢＰの位置情報は、撮像装置３０の座標系における情報なので、グローバル座標系における位置情報に変換される。グローバル座標系における施工対象の位置情報が形状情報である。本実施形態において、形状情報は、グローバル座標系における施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）を少なくとも１つ含む情報である。位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）は、グローバル座標系における座標であり、三次元位置情報である。
The detection processing device 51 of the control system 50 performs image processing by a stereo method on the images of the construction target OBP captured by at least a pair of image pickup devices 30, and obtains the position information of the construction target OBP, that is, the three-dimensional position information in the present embodiment. Ask. Since the position information of the construction target OBP obtained by the detection processing device 51 is the information in the coordinate system of the image pickup device 30, it is converted into the position information in the global coordinate system. The position information of the construction target in the global coordinate system is the shape information. In the present embodiment, the shape information is information including at least one position Pr (Xg, Yg, Zg) of the surface OBS of the construction target OBP in the global coordinate system. The position Pr (Xg, Yg, Zg) is a coordinate in the global coordinate system and is three-dimensional position information.
図７は、油圧ショベル１が重力の作用方向Ｇに対して傾斜している状態を示す図である。図８は、油圧ショベル１が重力の作用方向Ｇに対して傾斜している状態で、少なくとも一対の撮像装置３０で対象Ｏｊが撮像された画像の例を示す図である。傾斜面ＧＤに油圧ショベル１が設置された状態で少なくとも一対の撮像装置３０が対象Ｏｊを撮像すると、撮像装置座標系（ｘｓ，ｙｓ，ｚｓ）は、重力の作用方向Ｇに対して傾く。この状態で得られた画像は、図８に示されるように対象Ｏｊが傾斜するので、この画像にステレオ方式による画像処理が施されて形状情報が求められると、形状情報は傾きの影響を受ける可能性がある。制御システム５０は、油圧ショベル１の姿勢をＩＭＵ２４によって検出し、検出した油圧ショベル１の姿勢に関する情報を用いて形状情報を求める。
FIG. 7 is a diagram showing a state in which the hydraulic excavator 1 is tilted with respect to the action direction G of gravity. FIG. 8 is a diagram showing an example of an image in which the target Oj is captured by at least a pair of image pickup devices 30 in a state where the hydraulic excavator 1 is tilted with respect to the action direction G of gravity. When at least a pair of image pickup devices 30 image the target Oj with the hydraulic excavator 1 installed on the inclined surface GD, the image pickup device coordinate system (xs, ys, zs) is tilted with respect to the action direction G of gravity. In the image obtained in this state, the target Oj is tilted as shown in FIG. 8. Therefore, when the image is subjected to image processing by the stereo method and the shape information is obtained, the shape information is affected by the tilt. there is a possibility. The control system 50 detects the posture of the hydraulic excavator 1 by the IMU 24, and obtains shape information using the information regarding the detected posture of the hydraulic excavator 1.
図９は、実施形態１に係る制御システム５０が形状情報を求めるための処理例を説明するための図である。図１０は、実施形態１に係る制御システム５０が求めた形状情報のデータファイルの一例を示す図である。少なくとも一対の撮像装置３０によって撮像された画像から得られた施工対象ＯＢＰの位置Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、撮像装置座標系（ｘｓ，ｙｓ，ｚｓ）の座標である。形状情報は、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）における座標なので、検出処理装置５１は、位置Ｐｓ（ｘｓ，ｙｓ，ｚｓ）をグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）の位置Ｐｇ（ｘｓ，ｙｓ，ｚｓ）に変換する。位置Ｐｇ（ｘｓ，ｙｓ，ｚｓ）が、施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）、すなわち形状情報である。
FIG. 9 is a diagram for explaining a processing example for the control system 50 according to the first embodiment to obtain shape information. FIG. 10 is a diagram showing an example of a data file of shape information obtained by the control system 50 according to the first embodiment. The positions Ps (xs, ys, zs) of the construction target OBP obtained from the images captured by at least a pair of image pickup devices 30 are the coordinates of the image pickup device coordinate system (xs, ys, zs). Since the shape information is the coordinates in the global coordinate system (Xg, Yg, Zg), the detection processing device 51 sets the position Ps (xs, ys, zs) to the position Pg (xs, Yg, Zg) in the global coordinate system (Xg, Yg, Zg). Convert to ys, zs). The position Pg (xs, ys, zs) is the position Pr (Xg, Yg, Zg) of the surface OBS of the construction target OBP, that is, the shape information.
位置Ｐｓ（ｘｓ，ｙｓ，ｚｓ）は、式（１）によって撮像装置座標系（ｘｓ，ｙｓ，ｚｓ）から車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の位置Ｐｍ（ｘｍ、ｙｍ、ｚｍ）に変換される。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の位置Ｐｍ（ｘｍ、ｙｍ、ｚｍ）は、式（２）によってグローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）の位置Ｐｇ（ｘｓ，ｙｓ，ｚｓ）に変換される。
Ｐｍ＝Ｒ・Ｐｓ＋Ｔ・・・（１）
Ｐｇ＝Ｒｉｍｕ・（Ｐｍ＋Ｔｏｆｆ）＋Ｔｇ・・・（２）
The position Ps (xs, ys, zs) is converted from the image pickup device coordinate system (xs, ys, zs) to the position Pm (xm, ym, zm) of the vehicle body coordinate system (Xm, Ym, Zm) by the equation (1). Will be done. The position Pm (xm, ym, zm) of the vehicle body coordinate system (Xm, Ym, Zm) is converted to the position Pg (xs, ys, zs) of the global coordinate system (Xg, Yg, Zg) by the equation (2). To.
Pm = R · Ps + T ... (1)
Pg = Rimu ・ (Pm + Toff) + Tg ・ ・ ・ (2)
式（１）中のＲは式（３）で表される回転行列、Ｔは式（４）の行列で表される並進ベクトルである。式（２）のＲｉｍｕは式（５）で表される回転行列、Ｔｏｆｆは式（６）の行列で表される並進ベクトルである。Ｔｏｆｆは、車体座標系の原点からアンテナ２１，２２のいずれか一方までの距離のオフセット値を表す。Ｔｇは式（７）の行列で表される、アンテナ２１，２２のいずれか一方の並進ベクトルである。回転行列Ｒ中の角度α、角度β及び角度γは、車体座標系に対する撮像装置座標系の傾きを表す。角度α、角度β及び角度γは、例えば、複数の撮像装置３０が油圧ショベル１に取り付けられた後に予め求められて、検出処理装置５１の記憶部に記憶される。行列Ｔのｘ０，ｙ０，ｚ０は撮像装置座標系の原点と車体座標系の原点との距離を表す。ｘ０，ｙ０，ｚ０は、例えば、複数の撮像装置３０が油圧ショベル１に取り付けられた後に計測されたり、油圧ショベル１の設計情報から予め求められたりして、検出処理装置５１の記憶部に記憶される。
In equation (1), R is a rotation matrix represented by equation (3), and T is a translation vector represented by the matrix of equation (4). Rimu in equation (2) is a rotation matrix represented by equation (5), and Toff is a translation vector represented by the matrix in equation (6). Toff represents an offset value of the distance from the origin of the vehicle body coordinate system to either one of the antennas 21 and 22. Tg is a translation vector of either one of the antennas 21 and 22 represented by the matrix of the equation (7). The angle α, the angle β, and the angle γ in the rotation matrix R represent the inclination of the image pickup device coordinate system with respect to the vehicle body coordinate system. The angle α, the angle β, and the angle γ are obtained in advance after the plurality of image pickup devices 30 are attached to the hydraulic excavator 1, and are stored in the storage unit of the detection processing device 51, for example. The x 0 , y 0 , and z 0 of the matrix T represent the distance between the origin of the image pickup device coordinate system and the origin of the vehicle body coordinate system. The x 0 , y 0 , and z 0 are stored in the detection processing device 51, for example, by being measured after a plurality of image pickup devices 30 are attached to the hydraulic excavator 1 or being obtained in advance from the design information of the hydraulic excavator 1. It is memorized in the department.
回転行列Ｒｉｍｕ中の角度θｒ、角度θｐ及び角度θｄは、油圧ショベル１のロール角、ピッチ角及び方位角である。ロール角θｒ、ピッチ角θｐ及び方位角θｄは、油圧ショベル１の姿勢を表す。ロール角θｒ及びピッチ角θｐは、図３に示されるＩＭＵ２４が求めるか、ＩＭＵ２４の検出値から検出処理装置５１が求めるものである。方位角θｄは、図３に示されるアンテナ２１，２２及び位置検出装置２３によって構成されたＧＰＳコンパスによって求められる。より詳細には、方位角θｄは、位置検出装置２３によって２個のアンテナ２１，２２相対位置に基づいて求められる。ロール角θｒ、ピッチ角θｐ及び方位角θｄは、油圧ショベル１の姿勢が変化することによって変化する。本実施形態においては、ＩＭＵ２４によって求められたヨー角θｙが、ＧＰＳコンパスによって得られた方位角（方位データ）に代えて用いられてもよい。本実施形態において、ロール角θｒ、ピッチ角θｐ及び方位角θｄは、少なくとも一対の撮像装置３０が対象、例えば施工現場の施工対象及び施工後の施工現場等を検出したときにおいて、ＩＭＵ２４及び位置検出装置２３によって検出された値である。ロール角θｒ、ピッチ角θｐ及びヨー各θｙ又は方位角θｄは、ＩＭＵ２４以外又は位置検出装置２３以外の装置、例えばジャイロ等によって求められてもよい。
The angles θr, angle θp, and angle θd in the rotation matrix Rimu are the roll angle, pitch angle, and azimuth angle of the hydraulic excavator 1. The roll angle θr, the pitch angle θp, and the azimuth angle θd represent the posture of the hydraulic excavator 1. The roll angle θr and the pitch angle θp are obtained by the IMU 24 shown in FIG. 3 or by the detection processing device 51 from the detection values of the IMU 24. The azimuth angle θd is obtained by a GPS compass configured by the antennas 21 and 22 and the position detection device 23 shown in FIG. More specifically, the azimuth angle θd is obtained by the position detecting device 23 based on the relative positions of the two antennas 21 and 22. The roll angle θr, the pitch angle θp, and the azimuth angle θd change as the posture of the hydraulic excavator 1 changes. In the present embodiment, the yaw angle θy obtained by the IMU 24 may be used instead of the azimuth angle (direction data) obtained by the GPS compass. In the present embodiment, the roll angle θr, the pitch angle θp, and the azimuth angle θd are detected by the IMU 24 and the position when at least a pair of imaging devices 30 detect a target, for example, a construction target at a construction site and a construction site after construction. It is a value detected by the device 23. The roll angle θr, the pitch angle θp, the yaw angle θy, or the azimuth angle θd may be obtained by a device other than the IMU 24 or the position detection device 23, such as a gyro.
行列Ｔｏｆｆのｘ１，ｙ１，ｚ１は、車体座標系の原点と、図１及び図３に示されるアンテナ２１，２２の設置位置までの距離を表す。ｘ１，ｙ１，ｚ１は、例えば、アンテナ２１，２２が油圧ショベル１に取り付けられた後に計測されたり、油圧ショベル１の設計情報から予め求められたりして、検出処理装置５１の記憶部に記憶される。
The x 1 , y 1 , and z 1 of the matrix Toff represent the distance between the origin of the vehicle body coordinate system and the installation positions of the antennas 21 and 22 shown in FIGS. 1 and 3. The x 1 , y 1 , and z 1 are measured, for example, after the antennas 21 and 22 are attached to the hydraulic excavator 1, or are obtained in advance from the design information of the hydraulic excavator 1, and are stored in the storage unit of the detection processing device 51. Is remembered in.
行列Ｔｇのｘ２，ｙ２，ｚ２は、図１及び図３に示されるアンテナ２１，２２及び位置検出装置２３が検出したグローバル座標系におけるアンテナ２１，２２の位置を表す。ｘ１，ｙ１，ｚ１は、油圧ショベル１の位置、より具体的にはアンテナ２１，２２の位置が変化することによって変化する。
X 2, y 2, z 2 of the matrix Tg represents the position of the antennas 21 and 22 in the global coordinate system antennas 21 and 22 and the position detecting device 23 shown in FIGS. 1 and 3 were detected. x 1 , y 1 , and z 1 change as the position of the hydraulic excavator 1, more specifically, the positions of the antennas 21 and 22 changes.
検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された画像から得られた施工対象ＯＢＰの位置Ｐｓ（ｘｓ，ｙｓ，ｚｓ）を、式（１）から式（７）を用いてグローバル座標系における位置Ｐｇ（ｘｇ，ｙｇ，ｚｇ）に変換する。このとき、検出処理装置５１は、ＩＭＵ２４からロール角θｒ及びピッチ角θｐを取得し、位置検出装置２３からアンテナ２１，２２のグローバル座標系における位置及び方位角θｄを取得して、前述した変換に用いる。前述したように、検出処理装置５１は、方位角θｄの代わりに、ＩＭＵ２４が検出したヨー角θｙを用いてもよい。検出処理装置５１は、変換後の位置Ｐｇ（ｘｇ，ｙｇ，ｚｇ）を、施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）、すなわち形状情報とする。本実施形態においては、形状情報の一例として施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒを示しているが、形状情報はこれに限定されない。例えば、形状情報は、施工後における施工対象ＯＢＰの表面の位置及び施工途中における施工対象ＯＢＰの表面の位置であってもよい。
The detection processing device 51 uses the equations (1) to (7) to determine the positions Ps (xs, ys, zs) of the construction target OBP obtained from the images captured by at least a pair of imaging devices 30 in global coordinates. Convert to position Pg (xg, yg, zg) in the system. At this time, the detection processing device 51 acquires the roll angle θr and the pitch angle θp from the IMU 24, acquires the position and azimuth angle θd of the antennas 21 and 22 in the global coordinate system from the position detection device 23, and performs the above-described conversion. Use. As described above, the detection processing device 51 may use the yaw angle θy detected by the IMU 24 instead of the azimuth angle θd. The detection processing device 51 uses the converted position Pg (xg, yg, zg) as the position Pr (Xg, Yg, Zg) of the surface OBS of the construction target OBP, that is, shape information. In the present embodiment, the position Pr of the surface OBS of the construction target OBP is shown as an example of the shape information, but the shape information is not limited to this. For example, the shape information may be the position of the surface of the construction target OBP after construction and the position of the surface of the construction target OBP during construction.
検出処理装置５１は、少なくとも一対の撮像装置３０によって撮像された施工対象ＯＢＰの領域全体にわたって、施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）を求め、出力する。本実施形態において、検出処理装置５１は、所定の単位毎に、図１０に示されるように、求めた位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）のデータファイルＥＭＤを生成する。図１０に示されるデータファイルＥＭＤは、ｎ個（ｎは１以上の整数）の位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）の集合である。データファイルＥＭＤも、本実施形態における形状情報に該当する。
The detection processing device 51 obtains and outputs the position Pr (Xg, Yg, Zg) of the surface OBS of the construction target OBP over the entire region of the construction target OBP imaged by at least a pair of image pickup devices 30. In the present embodiment, the detection processing device 51 generates a data file EMD of the obtained position Pr (Xg, Yg, Zg) for each predetermined unit as shown in FIG. The data file EMD shown in FIG. 10 is a set of n position Prs (Xg, Yg, Zg) (n is an integer of 1 or more). The data file EMD also corresponds to the shape information in this embodiment.
所定の単位は、例えば、一回の撮像によって得られた施工対象ＯＢＰの範囲、及び予め定めた施工対象ＯＢＰの範囲が挙げられる。予め定めた施工対象ＯＢＰの範囲は、一回の撮像によって得られた範囲の一部であってもよいし、一回の撮像によって得られた範囲を超える範囲であってもよい。後者の場合には複数回の撮像によって得られた範囲が対象となる。
Examples of the predetermined unit include a range of the construction target OBP obtained by one imaging and a predetermined range of the construction target OBP. The predetermined range of the construction target OBP may be a part of the range obtained by one imaging, or may be a range exceeding the range obtained by one imaging. In the latter case, the range obtained by multiple imaging is the target.
本実施形態において、検出処理装置５１はデータファイルＥＭＤを生成したら、自身の記憶部に記憶させる。そして、検出処理装置５１は、データファイルＥＭＤの位置Ｐｒを用いて、目標施工情報を生成する。この他にも、施工管理装置５７は、検出処理装置５１が生成したデータファイルＥＭＤを、通信装置２５から図３に示される管理装置６１、携帯端末装置６４及び他の作業機械７０の少なくとも一つに送信してもよい。
In the present embodiment, when the detection processing device 51 generates the data file EMD, it stores it in its own storage unit. Then, the detection processing device 51 uses the position Pr of the data file EMD to generate the target construction information. In addition to this, the construction management device 57 uses the data file EMD generated by the detection processing device 51 from the communication device 25 to at least one of the management device 61, the mobile terminal device 64, and the other work machine 70 shown in FIG. May be sent to.
図１１は、施工管理装置５７によって送信される、データファイルＥＭＤを含む情報の一例を示す図である。本実施形態において、図３に示される検出処理装置５１の情報付与部５１Ｂは、形状情報に、形状情報を特定するための時刻情報ＴＭを付けて出力する。時刻情報ＴＭは、時刻に基づいて、形状情報を特定する情報である。本実施形態では、情報付与部５１Ｂは、図１１に示されるように、時刻情報ＴＭ及び形状情報であるデータファイルＥＭＤを含む作業情報ＬＧを生成して、出力する。時刻情報ＴＭは、例えば、少なくとも一対の撮像装置３０が施工対象ＯＢＰを撮像した時刻であってもよいし、演算部５１Ａが形状情報を生成した時刻であってもよいし、情報付与部５１Ｂが作業情報ＬＧを出力する時刻であってもよいし、管理装置６１及び携帯端末装置６４のような油圧ショベル１の外部の装置が形状情報を取得した時刻であってもよい。すなわち、時刻情報ＴＭは、施工前、施工途中又は施工後における施工対象ＯＢＰが、少なくとも一対の撮像装置３０及び検出処理装置５１によって検出された時刻から油圧ショベル１の外部の装置が形状情報を取得した時刻までの間に存在する少なくとも１つの時刻の情報である。時刻情報ＴＭが、油圧ショベル１の外部の装置が形状情報を取得した時刻の情報である場合、情報付与部５１Ｂが油圧ショベル１の外部の装置に設けられ、情報付与部５１Ｂは、外部の装置が形状情報を取得した時刻を示す時刻情報ＴＭを形状情報に付与する。
FIG. 11 is a diagram showing an example of information including the data file EMD transmitted by the construction management device 57. In the present embodiment, the information giving unit 51B of the detection processing device 51 shown in FIG. 3 outputs the shape information with a time information TM for specifying the shape information. The time information TM is information that identifies the shape information based on the time. In the present embodiment, as shown in FIG. 11, the information giving unit 51B generates and outputs the work information LG including the time information TM and the data file EMD which is the shape information. The time information TM may be, for example, the time when at least a pair of image pickup devices 30 image the construction target OBP, the time when the calculation unit 51A generates the shape information, or the information giving unit 51B. It may be the time when the work information LG is output, or it may be the time when the external device of the hydraulic excavator 1 such as the management device 61 and the mobile terminal device 64 acquires the shape information. That is, in the time information TM, the external device of the hydraulic excavator 1 acquires the shape information from the time when the construction target OBP before, during, or after the construction is detected by at least a pair of imaging devices 30 and the detection processing device 51. It is the information of at least one time existing until the time. When the time information TM is the information of the time when the external device of the hydraulic excavator 1 has acquired the shape information, the information giving unit 51B is provided in the external device of the hydraulic excavator 1, and the information giving unit 51B is the external device. Gives the shape information a time information TM indicating the time when the shape information is acquired.
本実施形態において、作業情報ＬＧは、時刻情報ＴＭ及びデータファイルＥＭＤに加えて、目標施工情報ＴＩ、撮像位置ＰＬ及び油圧ショベル１の姿勢情報ＳＩを含む。目標施工情報ＴＩは、作業情報ＬＧに含まれる形状情報、すなわちデータファイルＥＭＤの情報から生成されたものである。撮像位置ＰＬは、少なくとも一対の撮像装置３０が、施工前、施工途中又は施工後における施工対象ＯＢＰを撮像した場所を示す情報である。撮像位置ＰＬは、図３に示される位置検出装置２３が検出したアンテナ２１，２２のグローバル座標における位置に基づいて求められる。姿勢情報ＳＩは、油圧ショベル１の姿勢を示す情報であり、本実施形態ではロール角θｒ、ピッチ角θｐ及びヨー角θｙである。ロール角θｒ、ヨー角θｙ及びヨー角θｙは、ＩＭＵ２４の検出値であるが、ヨー角θｙの代わりに位置検出装置２３が検出した方位角θｄが用いられてもよい。これらの他にも、作業情報ＬＧは識別番号を含んでいてもよい。識別番号は、少なくとも一対の撮像装置３０の位置を示す情報及び対象を撮像した撮像装置３０を有する油圧ショベル１を識別するための情報である。識別番号としては、例えば、通信装置２５のＩＰアドレスであってもよい。また、識別番号としては、少なくとも一対の撮像装置の製造番号及び油圧ショベル１の車体番号が用いられるが、これらに限定されない。
In the present embodiment, the work information LG includes the target construction information TI, the imaging position PL, and the posture information SI of the hydraulic excavator 1 in addition to the time information TM and the data file EMD. The target construction information TI is generated from the shape information included in the work information LG, that is, the information of the data file EMD. The image pickup position PL is information indicating a place where at least a pair of image pickup devices 30 have imaged the construction target OBP before, during, or after the construction. The imaging position PL is obtained based on the position in the global coordinates of the antennas 21 and 22 detected by the position detecting device 23 shown in FIG. The posture information SI is information indicating the posture of the hydraulic excavator 1, and in the present embodiment, it is a roll angle θr, a pitch angle θp, and a yaw angle θy. The roll angle θr, the yaw angle θy, and the yaw angle θy are the detection values of the IMU 24, but the azimuth angle θd detected by the position detection device 23 may be used instead of the yaw angle θy. In addition to these, the work information LG may include an identification number. The identification number is information indicating the positions of at least a pair of image pickup devices 30 and information for identifying the hydraulic excavator 1 having the image pickup device 30 that has imaged an object. The identification number may be, for example, the IP address of the communication device 25. Further, as the identification number, at least the serial number of the pair of imaging devices and the vehicle body number of the hydraulic excavator 1 are used, but the identification number is not limited thereto.
作業情報ＬＧに含まれる情報は、前述した情報に限定されない。例えば、作業情報ＬＧは、油圧ショベル１のオペレータを識別するためのオペレータＩＤを含んでいてもよい。作業情報ＬＧは、検出処理装置５１の情報付与部５１Ｂがすべての情報を生成しなくてもよい。本実施形態では、情報付与部５１Ｂは、少なくとも時刻情報ＴＭ及びデータファイルＥＭＤを含む作業情報ＬＧを生成して出力すればよい。時刻情報ＴＭ及びデータファイルＥＭＤ以外の情報は、例えば、施工管理装置５７によって付与される。この場合、施工管理装置５７は、施工情報生成装置５２によって生成された目標施工情報ＴＩを取得し、情報付与部５１Ｂから取得した作業情報ＬＧに追加する。また、施工管理装置５７は、信号線５９を介して識別番号及び撮像位置ＰＬを取得して、作業情報ＬＧに追加する。施工管理装置５７は、作業情報ＬＧを所定のタイミング、本実施形態では１日に２回、管理装置６１及び携帯端末装置６４の少なくとも一方に送信する。
The information included in the work information LG is not limited to the above-mentioned information. For example, the work information LG may include an operator ID for identifying the operator of the hydraulic excavator 1. As for the work information LG, the information giving unit 51B of the detection processing device 51 does not have to generate all the information. In the present embodiment, the information giving unit 51B may generate and output at least the work information LG including the time information TM and the data file EMD. Information other than the time information TM and the data file EMD is given by, for example, the construction management device 57. In this case, the construction management device 57 acquires the target construction information TI generated by the construction information generation device 52 and adds it to the work information LG acquired from the information giving unit 51B. Further, the construction management device 57 acquires the identification number and the imaging position PL via the signal line 59 and adds them to the work information LG. The construction management device 57 transmits the work information LG to at least one of the management device 61 and the mobile terminal device 64 at a predetermined timing, twice a day in this embodiment.
本実施形態において、すくなくとも一対の撮像装置３０が対象を撮像したら、検出処理装置５１は、少なくとも時刻情報ＴＭ及びデータファイルＥＭＤを含む作業情報ＬＧを生成して出力し、通信装置２５を介して油圧ショベル１の外部に送信する。油圧ショベル１の外部に送信された作業情報ＬＧは、管理装置６１が取得したり、携帯端末装置６４が取得したりする。
In the present embodiment, when at least a pair of image pickup devices 30 image an object, the detection processing device 51 generates and outputs work information LG including at least time information TM and data file EMD, and hydraulically moves it through the communication device 25. It is transmitted to the outside of the excavator 1. The work information LG transmitted to the outside of the hydraulic excavator 1 is acquired by the management device 61 or is acquired by the mobile terminal device 64.
本実施形態において、図３に示される撮像スイッチ３２が操作されると、少なくとも一対の撮像装置３０が対象を撮像する。検出処理装置５１の演算部５１Ａは撮像装置３０によって撮像された画像にステレオ方式による画像処理を施して形状情報を生成する。検出処理装置５１の情報付与部５１Ｂは、形状情報に時刻情報を付けた作業情報ＬＧを出力する。作業情報ＬＧは、施工管理装置５７及び通信装置２５を介して、又は通信装置２５を介して管理装置６１及び携帯端末装置６４の少なくとも一方に送信する。
In the present embodiment, when the image pickup switch 32 shown in FIG. 3 is operated, at least a pair of image pickup devices 30 image an object. The calculation unit 51A of the detection processing device 51 performs image processing by the stereo method on the image captured by the image pickup device 30 to generate shape information. The information giving unit 51B of the detection processing device 51 outputs the work information LG in which the time information is added to the shape information. The work information LG is transmitted to at least one of the management device 61 and the mobile terminal device 64 via the construction management device 57 and the communication device 25, or via the communication device 25.
検出処理装置５１は、油圧ショベル１の周辺を監視するため、所定の時間毎、例えば１０分毎に少なくとも一対の撮像装置３０に対象を撮像させる。少なくとも一対の撮像装置３０によって撮像された二次元画像は、検出処理装置５１の記憶部に記憶されて、ある程度の情報が蓄積されたら通信装置２５を介して管理装置６１に送信される。前述した二次元画像は、作業情報ＬＧが管理装置６１に送信されるタイミングで送信されてもよいし、撮像されたら速やかに管理装置６１へ送信されてもよい。
In order to monitor the surroundings of the hydraulic excavator 1, the detection processing device 51 causes at least a pair of image pickup devices 30 to image an object every predetermined time, for example, every 10 minutes. The two-dimensional images captured by at least a pair of image pickup devices 30 are stored in the storage unit of the detection processing device 51, and when a certain amount of information is accumulated, they are transmitted to the management device 61 via the communication device 25. The above-mentioned two-dimensional image may be transmitted at the timing when the work information LG is transmitted to the management device 61, or may be transmitted to the management device 61 immediately after being imaged.
本実施形態において、検出処理装置５１が、例えば複数の撮像装置３０が起動していることを認識していること、信号線５９が断線していないこと、ＩＭＵ２４の出力が安定していること、及びＧＮＳＳによる測位がＦＩＸ（正常）であることを条件（許可条件）に、検出処理装置５１は、撮像装置３０を用いた三次元計測を許可する。許可条件が１つでも成立していない場合、撮像スイッチ３２が操作されても、検出処理装置５１は撮像装置３０を用いた三次元計測を許可しない。ＩＭＵ２４の出力が安定しているとは、油圧ショベル１が静止している状態であることを意味する。撮像装置３０による三次元計測に、前述した条件を設けることで、対象の計測精度の低下が抑制される。許可条件は、制御システム５０が三次元計測を許可するための例示である。制御システム５０は、許可条件のいずれか一つを用いてもよいし、許可条件を用いなくてもよい。
In the present embodiment, the detection processing device 51 recognizes that, for example, a plurality of image pickup devices 30 are activated, the signal line 59 is not broken, and the output of the IMU 24 is stable. And, on condition that the positioning by GNSS is FIX (normal) (permission condition), the detection processing device 51 permits three-dimensional measurement using the image pickup device 30. If even one of the permission conditions is not satisfied, the detection processing device 51 does not allow the three-dimensional measurement using the image pickup device 30 even if the image pickup switch 32 is operated. The stable output of the IMU 24 means that the hydraulic excavator 1 is in a stationary state. By providing the above-mentioned conditions for the three-dimensional measurement by the image pickup apparatus 30, it is possible to suppress a decrease in the measurement accuracy of the target. The permission condition is an example for the control system 50 to permit three-dimensional measurement. The control system 50 may or may not use any one of the permit conditions.
図１２は、データファイルＥＭＤが管理装置６１の記憶部に記憶される一例を示す図である。油圧ショベル１から送信された作業情報ＬＧは、管理装置６１の記憶部に記憶される。作業情報ＬＧが携帯端末装置６４に送信される場合、作業情報ＬＧは携帯端末装置６４の記憶部に記憶されてもよい。
FIG. 12 is a diagram showing an example in which the data file EMD is stored in the storage unit of the management device 61. The work information LG transmitted from the hydraulic excavator 1 is stored in the storage unit of the management device 61. When the work information LG is transmitted to the mobile terminal device 64, the work information LG may be stored in the storage unit of the mobile terminal device 64.
管理装置６１の記憶部内には、例えば、図１２のデータテーブルＴＢに示されるように、時刻情報ＴＭとデータファイルＥＭＤとが対応付けられて記憶される。データテーブルＴＢは、管理装置６１が新しい時刻情報ＴＭ及びデータファイルＥＭＤを取得する毎に更新される。データファイルＥＭＤに付される番号が同一の情報は、作業現場の同じ場所の形状情報を示す。管理装置６１は、データテーブルＴＢに含まれるデータファイルＥＭＤを用いて、施工現場の現状を示す情報（以下、適宜、現況情報と称する）を生成できる。この場合、データファイルＥＭＤに付される番号が同一である場合、最新のデータファイルＥＭＤを用いて現況情報が生成される。最新のデータファイルＥＭＤであるか否かは、データファイルＥＭＤに対応付けられた時刻情報ＴＭによって判定される。例えば、２つのデータファイルＥＭＤ１が存在した場合、管理装置６１は、それぞれのデータファイルＥＭＤ１に対応した時刻情報ＴＭを比較し、新しい方のデータファイルＥＭＤ１を用いて現況情報を生成する。このようにすることで、管理装置６１は、最新の現況情報を生成できる。
In the storage unit of the management device 61, for example, as shown in the data table TB of FIG. 12, the time information TM and the data file EMD are stored in association with each other. The data table TB is updated every time the management device 61 acquires a new time information TM and data file EMD. The information with the same number assigned to the data file EMD indicates the shape information of the same place at the work site. The management device 61 can generate information indicating the current state of the construction site (hereinafter, appropriately referred to as current state information) by using the data file EMD included in the data table TB. In this case, if the numbers assigned to the data file EMD are the same, the current status information is generated using the latest data file EMD. Whether or not it is the latest data file EMD is determined by the time information TM associated with the data file EMD. For example, when two data files EMD1 exist, the management device 61 compares the time information TM corresponding to each data file EMD1 and generates the current status information using the newer data file EMD1. By doing so, the management device 61 can generate the latest current status information.
管理装置６１は、時刻情報ＴＭが付された形状情報、すなわちデータファイルＥＭＤを用いて、油圧ショベル１の施工現場全体の現状の地形の情報、すなわち現況情報を出力する。例えば、管理装置６１は、最新の時刻情報ＴＭが付された各データファイルＥＭＤを施工現場全体にわたって収集して結合することにより、油圧ショベル１の施工現場全体の現況情報を生成して出力する。施工現場全体の現況情報は、例えば、管理施設６０の表示装置６７に表示されたり、携帯端末装置６４に表示されたりする。
The management device 61 outputs the current topographical information of the entire construction site of the hydraulic excavator 1, that is, the current state information by using the shape information with the time information TM, that is, the data file EMD. For example, the management device 61 collects and combines each data file EMD with the latest time information TM over the entire construction site to generate and output the current status information of the entire construction site of the hydraulic excavator 1. The current state information of the entire construction site is displayed on the display device 67 of the management facility 60 or displayed on the mobile terminal device 64, for example.
施工現場全体の現況情報は、油圧ショベル１による施工結果を用いて生成されてもよいし、他の作業機械７０による施工結果を用いて生成されてもよい。また、施工現場全体の現況情報は、油圧ショベル１及び他の作業機械７０によらない施工結果、例えば、作業者がスコップ等によって施工した結果を用いて生成されてもよい。本実施形態において、施工現場全体の現況情報は、油圧ショベル１による施工結果と、他の作業機械７０による施工結果と、油圧ショベル１及び他の作業機械７０によらない施工結果との少なくとも一つを用いて生成されればよい。施工現場全体の現況情報は、油圧ショベルの施工管理装置５７及び携帯端末装置６４の少なくとも一方が生成して出力してもよい。
The current state information of the entire construction site may be generated by using the construction result by the hydraulic excavator 1, or may be generated by using the construction result by another work machine 70. Further, the current state information of the entire construction site may be generated by using the construction result not by the hydraulic excavator 1 and the other work machine 70, for example, the result of the construction by the operator using a scoop or the like. In the present embodiment, the current state information of the entire construction site is at least one of the construction result by the hydraulic excavator 1, the construction result by the other work machine 70, and the construction result not by the hydraulic excavator 1 and the other work machine 70. It may be generated using. The current state information of the entire construction site may be generated and output by at least one of the construction management device 57 and the mobile terminal device 64 of the hydraulic excavator.
図１３は、施工現場全体の施工対象ＯＢＰｔとデータファイルＥＭＤに対応した範囲との関係を示す図である。図１３は、最新のデータファイルＥＭＤ１，ＥＭＤ２，・・・ＥＭＤｍに対応した範囲が施工現場全体の施工対象ＯＢＰｔ内に表示された例を示している。データファイルＥＭＤ１，ＥＭＤ２，ＥＭＤｍに対応した範囲は、データファイルＥＭＤ１，ＥＭＤ２，・・・ＥＭＤｍに含まれる三次元位置情報で特定される範囲である。
FIG. 13 is a diagram showing the relationship between the construction target OBPt of the entire construction site and the range corresponding to the data file EMD. FIG. 13 shows an example in which the range corresponding to the latest data files EMD1, EMD2, ... EMDm is displayed in the construction target OBPt of the entire construction site. The range corresponding to the data files EMD1, EMD2, EMDm is the range specified by the three-dimensional position information included in the data files EMD1, EMD2, ... EMDm.
管理装置６１は、例えば、施工現場全体の施工対象ＯＢＰｔに、データファイルＥＭＤ１，ＥＭＤ２，ＥＭＤｍに対応した範囲を重ねた情報を生成する。そして、管理装置６１は、例えば、管理施設６０内の表示装置６７に、生成した情報を表示させる。このようにすると、最新のデータファイルＥＭＤ１，ＥＭＤ２，・・・ＥＭＤｍが施工対象ＯＢＰｔ内に表示されるので、施工現場の現状が示される。管理装置６１は、時刻情報ＴＭが同一又は同一とみなせるデータファイルＥＭＤ同士を組み合わせることで、施工現場の現状の状況を得ることができる。時刻情報ＴＭが同一とみなせるとは、予め定められた時間の範囲内の時刻情報ＴＭに対応するデータファイルＥＭＤは、同一の時刻に得られたものとして取り扱されることをいう。例えば、朝９時から夕方１７：００までを予め定められた時間の範囲とした場合、ある曜日におけるこの時間の範囲内の時刻情報ＴＭを持つデータファイルＥＭＤは、同一の時刻に得られたものとして取り扱われ、曜日が変われば異なる時刻に得られたものとして取り扱われる。
The management device 61 generates, for example, information in which the range corresponding to the data files EMD1, EMD2, and EMDm is superimposed on the construction target OBPt of the entire construction site. Then, the management device 61 causes, for example, the display device 67 in the management facility 60 to display the generated information. In this way, the latest data files EMD1, EMD2, ... EMDm are displayed in the construction target OBPt, so that the current state of the construction site is shown. The management device 61 can obtain the current status of the construction site by combining data files EMDs whose time information TMs can be regarded as the same or the same. The fact that the time information TM can be regarded as the same means that the data file EMD corresponding to the time information TM within a predetermined time range is treated as being obtained at the same time. For example, if the time range from 9:00 am to 17:00 pm is set as a predetermined time range, the data file EMD having the time information TM within this time range on a certain day of the week is obtained at the same time. If the day of the week changes, it will be treated as if it was obtained at a different time.
図１４は、施工現場全体の施工対象ＯＢＰｔの変化を時系列に並べたものである。時刻ｔ＝ｔｓは、施工現場の施工が開始される前の状態を示している。時刻ｔ＝ｔ１において、施工対象ＯＢＰｔは領域ＯＢＰｆ１が施工されている。領域ＯＢＰｆ１は、時刻ｔ＝ｔ１における形状情報、すなわちデータファイルＥＭＤに含まれる三次元情報によって特定されるので、施工前における施工対象ＯＢＰｔに領域ＯＢＰｆ１を重ねることで、時刻ｔ＝ｔ１における施工現場全体の状態が分かる。
FIG. 14 shows changes in the construction target OBPt of the entire construction site arranged in chronological order. The time t = ts indicates the state before the construction at the construction site is started. At time t = t1, the area OBPf1 is constructed in the construction target OBPt. Since the region OBPf1 is specified by the shape information at time t = t1, that is, the three-dimensional information included in the data file EMD, by superimposing the region OBPf1 on the construction target OBPt before construction, the entire construction site at time t = t1. You can see the state of.
時刻ｔ＝ｔ２において、施工対象ＯＢＰｔは領域ＯＢＰｆ１に加え、領域ＯＢＰｆ２及び領域ＯＢＰｆ３がさらに施工されている。領域ＯＢＰｆ２及び領域ＯＢＰｆ３は、時刻ｔ＝ｔ２における形状情報、すなわちデータファイルＥＭＤに含まれる三次元情報によって特定されるので、施工前における施工対象ＯＢＰに領域ＯＢＰｆ２及び領域ＯＢＰｆ３を重ねることで、時刻ｔ＝ｔ２における施工現場全体の状態が分かる。時刻ｔ＝ｔ２において、領域ＯＢＰｆ１はすでに施工されているので、時刻ｔ＝ｔ２においては領域ＯＢＰｆ１に対応する形状情報、すなわち領域ＯＢＰｆ１に対応するデータファイルＥＭＤが得られていなくてもよい。領域ＯＢＰｆ１に対応するデータファイルＥＭＤが得られていない場合、領域ＯＢＰｆ１については時刻ｔ＝ｔ１における情報が最新となる。
At time t = t2, in addition to the region OBPf1, the region OBPf2 and the region OBPf3 are further constructed as the construction target OBPt. Since the region OBPf2 and the region OBPf3 are specified by the shape information at the time t = t2, that is, the three-dimensional information included in the data file EMD, the region OBPf2 and the region OBPf3 are superimposed on the construction target OBP before the construction, so that the time t = The state of the entire construction site at t2 can be known. Since the region OBPf1 has already been constructed at the time t = t2, the shape information corresponding to the region OBPf1, that is, the data file EMD corresponding to the region OBPf1 may not be obtained at the time t = t2. When the data file EMD corresponding to the region OBPf1 is not obtained, the information at the time t = t1 is the latest for the region OBPf1.
時刻ｔ＝ｔ２においては、領域ＯＢＰｆ２及び領域ＯＢＰｆ３とともに、時刻ｔ＝ｔ１における領域ＯＢＰｆ１が施工前における施工対象ＯＢＰｔに重ねられる。時刻ｔ＝ｔ２において、領域ＯＢＰｆ１に対応する形状情報、すなわち領域ＯＢＰｆ１に対応するデータファイルＥＭＤが得られている場合、最新のデータファイルＥＭＤに基づく領域ＯＢＰｆ１が、領域ＯＢＰｆ２及び領域ＯＢＰｆ３とともに、施工前における施工対象ＯＢＰｔに重ねられる。
At time t = t2, the region OBPf1 at time t = t1 is superimposed on the construction target OBPt before construction together with the region OBPf2 and the region OBPf3. When the shape information corresponding to the region OBPf1, that is, the data file EMD corresponding to the region OBPf1 is obtained at time t = t2, the region OBPf1 based on the latest data file EMD is together with the region OBPf2 and the region OBPf3 before construction. It is superimposed on the construction target OBPt in.
管理装置６１は、時刻ｔ＝ｔｓ，ｔ１，ｔ２の順に、施工対象ＯＢＰｔ全体の現況情報を生成して、例えば管理施設６０内の表示装置６７に、生成した現況情報を三次元画像で表示させる。この場合、管理装置６１は、現況情報を時刻毎にコマ送りで表示させることができる。このようにすることで、管理者は、日々の施工の進捗状況を容易に理解できる。携帯端末装置６４は、通信回線ＮＴＷを介して管理装置６１にアクセスして現況情報を取得し、現況情報を画面に表示してもよい。このようにすれば、管理施設６０にいない施工現場の作業者も、日々の施工の進捗状況を容易に理解できる。
The management device 61 generates current status information of the entire construction target OBPt in the order of time t = ts, t1, t2, and causes, for example, the display device 67 in the management facility 60 to display the generated current status information as a three-dimensional image. .. In this case, the management device 61 can display the current status information frame by frame for each time. By doing so, the manager can easily understand the progress of daily construction. The mobile terminal device 64 may access the management device 61 via the communication line NTW to acquire the current status information and display the current status information on the screen. In this way, even a worker at the construction site who is not in the management facility 60 can easily understand the progress of the daily construction.
図１５及び図１６は、異なる時刻に得られた形状情報の差分から、除去された土の量又は盛土の量を求める例を示す図である。本実施形態においては、異なる時刻に得られた形状情報に基づいて、除去された土の量又は盛土の量が求められる。施工前における時刻ｔ＝ｔｓの施工対象ＯＢＰが施工されて、施工後の対象ＯＢＰｆになったとする。グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）において、施工後における時刻ｔ＝ｔｆで得られた形状情報のＺｇ座標と、施工前における時刻ｔ＝ｔｓで得られた形状情報のＺｇ座標との差分はΔＤである。差分ΔＤが負の場合は土を除去した場合であり、差分ΔＤが正の場合は盛土の場合である。差分ΔＤに、施工された範囲のＸｇ方向における寸法及びＹｇ軸方向における寸法を乗ずることにより、施工対象ＯＢＰの除去された土の量又は盛土の量（本実施形態において、土の量は体積）が得られる。本実施形態においては、異なる時刻に得られた形状情報に基づいて、油圧ショベル１のみならず、他の作業機械７０によって除去された土の量又は盛土の量が求められてもよい。
15 and 16 are diagrams showing an example of obtaining the amount of soil removed or the amount of embankment from the difference in shape information obtained at different times. In the present embodiment, the amount of soil removed or the amount of embankment is determined based on the shape information obtained at different times. It is assumed that the construction target OBP at the time t = ts before the construction is constructed and becomes the target OBPf after the construction. In the global coordinate system (Xg, Yg, Zg), the difference between the Zg coordinate of the shape information obtained at time t = tf after construction and the Zg coordinate of the shape information obtained at time t = ts before construction is ΔD. When the difference ΔD is negative, it means that the soil is removed, and when the difference ΔD is positive, it means that the embankment is filled. By multiplying the difference ΔD by the dimension in the Xg direction and the dimension in the Yg axis direction of the constructed range, the amount of soil removed or the amount of embankment of the construction target OBP (in this embodiment, the amount of soil is volume). Is obtained. In the present embodiment, not only the hydraulic excavator 1 but also the amount of soil removed by the other working machine 70 or the amount of embankment may be obtained based on the shape information obtained at different times.
このように、形状情報であるデータファイルＥＭＤと時刻情報ＴＭとを対応付けることにより、施工現場の施工に関する様々な情報が得られる。データファイルＥＭＤ及び時刻情報ＴＭを用いて現況情報を生成したり、盛土量又は除去された土の量を求めたりする処理は、管理装置６１、携帯端末装置６４及び油圧ショベル１の施工管理装置５７のいずれが実行してもよい。また、管理装置６１、携帯端末装置６４又は油圧ショベル１の施工管理装置５７のいずれかが前述した処理を実行し、通信回線ＮＴＷを介して他の機器に結果を送信してもよい。前述した処理の結果は、通信だけでなく、ストレージデバイスに記憶されて、他の機器に受け渡されてもよい。次に、目標施工情報について説明する。
By associating the data file EMD, which is the shape information, with the time information TM in this way, various information regarding the construction at the construction site can be obtained. The processing of generating the current state information using the data file EMD and the time information TM and obtaining the amount of filled soil or the amount of removed soil is performed by the management device 61, the mobile terminal device 64, and the construction management device 57 of the hydraulic excavator 1. Any of these may be executed. Further, any of the management device 61, the mobile terminal device 64, or the construction management device 57 of the hydraulic excavator 1 may execute the above-described processing and transmit the result to another device via the communication line NTW. The result of the above-mentioned processing may be stored not only in the communication but also in the storage device and passed to another device. Next, the target construction information will be described.
＜目標施工情報＞
図１７、図１８及び図１９は、実施形態１に係る作業機械の制御システム５０が生成する目標施工情報を説明するための図である。本実施形態において、図３に示される施工情報生成装置５２は、検出処理装置５１によって生成された形状情報を用いて、目標施工情報、すなわち施工対象ＯＢＰが施工させる際に目標となる形状の位置情報を求める。本実施形態において、施工情報生成装置５２は、図１１及び図１２に示されるように、形状情報に含まれる施工対象ＯＢＰの表面ＯＢＳの位置を示す情報を加工することによって、表面ＯＢＳの位置を変更して、目標施工情報を得る。
<Target construction information>
17, 18 and 19 are diagrams for explaining the target construction information generated by the control system 50 of the work machine according to the first embodiment. In the present embodiment, the construction information generating device 52 shown in FIG. 3 uses the shape information generated by the detection processing device 51 to perform the target construction information, that is, the position of the target shape when the construction target OBP is constructed. Ask for information. In the present embodiment, as shown in FIGS. 11 and 12, the construction information generation device 52 processes the information indicating the position of the surface OBS of the construction target OBP included in the shape information to determine the position of the surface OBS. Change and get target construction information.
図１７に示される例は、施工対象ＯＢＰの表面ＯＢＳから距離ΔＤＰｔの範囲を除去する施工例を示している。この場合、施工情報生成装置５２は、施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒａ（Ｘｇａ，Ｙｇａ，Ｚｇａ）を、距離ΔＤＰｔだけ低くした位置Ｐｔａ（Ｘｔａ，Ｙｔａ，Ｚｔａ）を求める。本実施形態において、施工情報生成装置５２は、位置Ｐｒａ（Ｘｇａ，Ｙｇａ，Ｚｇａ）のＺｇａをΔＤＰｔだけ減じることにより、位置Ｐｒａ（Ｘｇａ，Ｙｇａ，Ｚｇａ）を、距離ΔＤＰｔだけ低い位置に移動させる。したがって、位置Ｐｔａ（Ｘｔａ，Ｙｔａ，Ｚｔａ）は、位置Ｐｔａ（Ｘｇａ，Ｙｇａ，Ｚｇａ−ΔＤＰｔ）となる。このようにして得られた位置Ｐｔａ（Ｘｔａ，Ｙｔａ，Ｚｔａ）が、目標施工情報となる。施工情報生成装置５２は、図３に示される検出処理装置５１から形状情報、本実施形態ではデータファイルＥＭＤを取得し、データファイルＥＭＤに含まれるすべての位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）に対してＺｇの値からΔＤＰｔだけ減算することにより、目標施工情報を生成する。
The example shown in FIG. 17 shows a construction example in which the range of the distance ΔDPt is removed from the surface OBS of the construction target OBP. In this case, the construction information generation device 52 obtains the position Pta (Xta, Yta, Zta) in which the position Pra (Xga, Yga, Zga) of the surface OBS of the construction target OBP is lowered by the distance ΔDPt. In the present embodiment, the construction information generator 52 moves the position Pra (Xga, Yga, Zga) to a position lower by the distance ΔDPt by reducing the Zga of the position Pra (Xga, Yga, Zga) by ΔDPt. Therefore, the position Pta (Xta, Yta, Zta) becomes the position Pta (Xga, Yga, Zga-ΔDPt). The position Pta (Xta, Yta, Zta) obtained in this way becomes the target construction information. The construction information generation device 52 acquires shape information from the detection processing device 51 shown in FIG. 3, data file EMD in the present embodiment, and for all position Prs (Xg, Yg, Zg) included in the data file EMD. By subtracting ΔDPt from the value of Zg, the target construction information is generated.
図１８に示される例は、施工対象ＯＢＰの表面ＯＢＳから距離ΔＡＤｔの範囲に、例えば土、砂又は岩石のような物体を盛る施工例を示している。この場合、施工情報生成装置５２は、施工対象ＯＢＰの表面ＯＢＳの位置Ｐｒｂ（Ｘｇｂ，Ｙｇｂ，Ｚｇｂ）を、距離ΔＡＤｔだけ高くした位置Ｐｔｂ（Ｘｔｂ，Ｙｔｂ，Ｚｔｂ）を求める。本実施形態において、施工情報生成装置５２は、位置Ｐｒｂ（Ｘｇｂ，Ｙｇｂ，Ｚｇｂ）のＺｇにΔＡＤｔを加算することにより、位置Ｐｒｂ（Ｘｇｂ，Ｙｇｂ，Ｚｇｂ）を、距離ΔＡＤｔだけ高い位置に移動させる。したがって、位置Ｐｔｂ（Ｘｔｂ，Ｙｔｂ，Ｚｔｂ）は、位置Ｐｔｂ（Ｘｇｂ，Ｙｇｂ，Ｚｇｂ＋ΔＡＤｔ）となる。このようにして得られた位置Ｐｔｂ（Ｘｔｂ，Ｙｔｂ，Ｚｔｂ）が、目標施工情報となる。施工情報生成装置５２は、図３に示される検出処理装置５１から形状情報、本実施形態ではデータファイルＥＭＤを取得し、データファイルＥＭＤに含まれるすべての位置Ｐｒ（Ｘｇ，Ｙｇ，Ｚｇ）に対してＺｇの値にΔＡＤｔを加算することにより、目標施工情報を生成する。
The example shown in FIG. 18 shows a construction example in which an object such as soil, sand, or rock is piled up in a range of a distance ΔADt from the surface OBS of the construction target OBP. In this case, the construction information generation device 52 obtains the position Ptb (Xtb, Ytb, Ztb) in which the position Prb (Xgb, Ygb, Zgb) of the surface OBS of the construction target OBP is increased by the distance ΔADt. In the present embodiment, the construction information generator 52 moves the position Prb (Xgb, Ygb, Zgb) to a position higher by the distance ΔADt by adding ΔADt to Zg of the position Prb (Xgb, Ygb, Zgb). .. Therefore, the position Ptb (Xtb, Ytb, Ztb) becomes the position Ptb (Xgb, Ygb, Zgb + ΔADt). The position Ptb (Xtb, Ytb, Ztb) obtained in this way becomes the target construction information. The construction information generation device 52 acquires shape information from the detection processing device 51 shown in FIG. 3, data file EMD in the present embodiment, and for all position Prs (Xg, Yg, Zg) included in the data file EMD. By adding ΔADt to the value of Zg, the target construction information is generated.
このように、図１７及び図１８に示される施工は、施工対象ＯＢＰの表面ＯＢＳを一定の深さ（ΔＤｐｔ）又は一定の高さ（ΔＡＤｔ）に変更（オフセット）する施工である。この他にも、例えば、施工対象ＯＢＰの表面ＯＢＳに所定の傾斜を有する勾配を設けるような施工に、制御システム５０が適用されてもよい。このような施工は、例えば、施工後の地形が、水はけがよい地形になるように施工する場合に行われる。少なくとも一対の撮像装置３０によって撮像された画像に基づき検出処理装置５１が形状情報を生成した後、施工情報生成装置５２は、形状情報が示す表面ＯＢＳの位置のＺｇ座標について所定の距離を減算又は加算して、表面ＯＢＳに対し所定の勾配が設けられた目標施工情報を生成する。この場合も、施工情報生成装置５２は、形状情報に含まれる施工対象ＯＢＰの表面ＯＢＳの位置を示す情報を加工することによって、表面ＯＢＳの位置を変更して、目標施工情報を得ることになる。
As described above, the construction shown in FIGS. 17 and 18 is a construction in which the surface OBS of the construction target OBP is changed (offset) to a constant depth (ΔDpt) or a constant height (ΔADt). In addition to this, for example, the control system 50 may be applied to construction in which a slope having a predetermined slope is provided on the surface OBS of the construction target OBP. Such construction is performed, for example, when the terrain after construction is constructed so as to have good drainage. After the detection processing device 51 generates shape information based on the images captured by at least a pair of image pickup devices 30, the construction information generation device 52 subtracts a predetermined distance from the Zg coordinates of the position of the surface OBS indicated by the shape information. In addition, the target construction information in which a predetermined gradient is provided with respect to the surface OBS is generated. In this case as well, the construction information generator 52 changes the position of the surface OBS by processing the information including the position of the surface OBS of the construction target OBP included in the shape information, and obtains the target construction information. ..
施工現場は広い場合、図１９に示されるように、少なくとも一対の撮像装置３０が撮像する施工対象ＯＢＰａ，ＯＢＰｂは、施工現場全体の施工対象ＯＢＰｔの一部となることがある。施工対象ＯＢＰａ，ＯＢＰｂの表面にある位置Ｐｒａ，Ｐｒｂから得られた位置Ｐｔａ，Ｐｔｂを目標施工情報とする範囲ＯＢＰｔａ，ＯＢＰｔｂも、施工現場全体の一部の情報となる。施工管理装置５７は、形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象ＯＢＰから除去する土の量又は施工対象ＯＢＰに盛る土の量を求めることができる。
When the construction site is large, as shown in FIG. 19, the construction target OBPa and OBPb imaged by at least a pair of image pickup devices 30 may be a part of the construction target OBPt of the entire construction site. The range OBPta and OBPtb whose target construction information is the positions Pta and Ptb obtained from the positions Pra and Prb on the surface of the construction target OBPa and OBPb are also part of the information of the entire construction site. The construction management device 57 can obtain the amount of soil to be removed from the construction target OBP or the amount of soil to be piled up on the construction target OBP by using the difference between the shape information and the target construction information obtained from the shape information. ..
施工管理装置５７が、油圧ショベル１の外部に設けられた、例えば管理装置６１に設けられている場合、施工管理装置５７は、油圧ショベル１から通信装置２５を介して形状情報を取得する。施工管理装置５７は、取得した形状情報と、この形状情報から得られた目標施工情報との差分を用いて、施工対象ＯＢＰから除去する土の量又は施工対象ＯＢＰに盛る土の量を求める。この場合、施工管理装置５７は、油圧ショベル１から形状情報を取得して目標施工情報を生成する。施工管理装置５７は、形状情報及び目標施工情報を油圧ショベル１から取得して、施工対象ＯＢＰから除去する土の量又は施工対象ＯＢＰに盛る土の量を求めてもよい。
When the construction management device 57 is provided outside the hydraulic excavator 1, for example, in the management device 61, the construction management device 57 acquires shape information from the hydraulic excavator 1 via the communication device 25. The construction management device 57 uses the difference between the acquired shape information and the target construction information obtained from the shape information to obtain the amount of soil to be removed from the construction target OBP or the amount of soil to be piled up on the construction target OBP. In this case, the construction management device 57 acquires shape information from the hydraulic excavator 1 and generates target construction information. The construction management device 57 may acquire shape information and target construction information from the hydraulic excavator 1 to obtain the amount of soil to be removed from the construction target OBP or the amount of soil to be piled up on the construction target OBP.
施工情報生成装置５２は、目標施工情報を生成したら、自身の記憶部に記憶させる。施工情報生成装置５２の記憶部に記憶された目標施工情報は、作業機制御装置５６が作業機制御を実行する際の目標値として使用される。本実施形態において、作業機制御装置５６は、作業機２、より具体的にはバケット８の刃先８ＢＴが、目標施工情報に沿うように、油圧ショベル１の作業機２を制御する。すなわち、作業機制御装置５６は、バケット８の刃先８ＢＴを、目標施工情報によって表された、施工対象が施工されるときに目標とされる形状に沿って移動させる。施工管理装置５７は、施工情報生成装置５２が生成した目標施工情報を、通信装置２５から図３に示される管理装置６１、携帯端末装置６４及び他の作業機械７０の少なくとも一つに送信してもよい。次に、本実施形態に係る形状計測方法及び施工管理方法の処理例を説明する。
When the construction information generation device 52 generates the target construction information, it stores it in its own storage unit. The target construction information stored in the storage unit of the construction information generation device 52 is used as a target value when the work machine control device 56 executes the work machine control. In the present embodiment, the work machine control device 56 controls the work machine 2 of the hydraulic excavator 1 so that the work machine 2, more specifically, the cutting edge 8BT of the bucket 8 conforms to the target construction information. That is, the work machine control device 56 moves the cutting edge 8BT of the bucket 8 along the target shape when the construction target is constructed, which is represented by the target construction information. The construction management device 57 transmits the target construction information generated by the construction information generation device 52 from the communication device 25 to at least one of the management device 61, the mobile terminal device 64, and the other work machine 70 shown in FIG. May be good. Next, a processing example of the shape measurement method and the construction management method according to the present embodiment will be described.
＜実施形態１に係る形状計測方法及び施工管理方法の処理例＞
図２０は、実施形態１に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。制御システム５０を有する油圧ショベル１は、本実施形態に係る形状計測方法を実行する。より詳細には、制御システム５０は、施工対象ＯＢＰの形状情報を求め、得られた形状情報から目標施工情報を生成する。そして、制御システム５０は、得られた目標施工情報に沿うように作業機２を制御する。施工管理システム１００、本実施形態では管理装置６１が、本実施形態に係る施工管理方法を実行する。
<Processing example of shape measurement method and construction management method according to the first embodiment>
FIG. 20 is a flowchart showing a processing example of the shape measuring method and the construction management method according to the first embodiment. The hydraulic excavator 1 having the control system 50 executes the shape measuring method according to the present embodiment. More specifically, the control system 50 obtains the shape information of the construction target OBP and generates the target construction information from the obtained shape information. Then, the control system 50 controls the work machine 2 so as to be in line with the obtained target construction information. The construction management system 100, in the present embodiment, the management device 61 executes the construction management method according to the present embodiment.
図３に示される撮像スイッチ３２がオペレータによって操作されると、撮像スイッチ３２から制御システム５０に、施工対象ＯＢＰを撮像装置３０に撮像させるための撮像指令が検出処理装置５１に入力される。検出処理装置５１は、撮像指令が入力されると、ステップＳ１０１において、少なくとも一対の撮像装置３０に施工対象ＯＢＰを撮像させる。ステップＳ１０２において、検出処理装置５１は、少なくとも一対の撮像装置３０が撮像した画像にステレオ方式による画像処理を施して施工対象ＯＢＰの位置（三次元位置）を求め、得られた施工対象ＯＢＰの位置を用いて施工対象ＯＢＰの形状情報を生成する。検出処理装置５１は、生成した目標施工情報を自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。形状情報を生成する手法は、前述した通りである。
When the image pickup switch 32 shown in FIG. 3 is operated by the operator, an image pickup command for causing the image pickup device 30 to image the construction target OBP is input from the image pickup switch 32 to the control system 50 to the detection processing device 51. When the imaging command is input, the detection processing device 51 causes at least a pair of imaging devices 30 to image the construction target OBP in step S101. In step S102, the detection processing device 51 performs image processing by a stereo method on the images captured by at least a pair of image pickup devices 30 to obtain the position (three-dimensional position) of the construction target OBP, and obtains the position of the construction target OBP. Is used to generate shape information of the construction target OBP. The detection processing device 51 stores the generated target construction information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. The method for generating shape information is as described above.
ステップＳ１０３において、施工情報生成装置５２は、検出処理装置５１から形状情報を取得し、目標施工情報を生成する。施工情報生成装置５２は、生成した目標施工情報を自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。目標施工情報を生成する手法は、前述した通りである。本実施形態において、図３に示される施工管理装置５７は、ステップＳ１０２で得られた形状情報及びステップＳ１０２で得られた目標施工情報を含む作業情報ＬＧを、管理装置６１及び携帯端末装置６４の少なくとも一方に送信してもよい。
In step S103, the construction information generation device 52 acquires shape information from the detection processing device 51 and generates target construction information. The construction information generation device 52 stores the generated target construction information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. The method for generating the target construction information is as described above. In the present embodiment, the construction management device 57 shown in FIG. 3 supplies the work information LG including the shape information obtained in step S102 and the target construction information obtained in step S102 to the management device 61 and the mobile terminal device 64. It may be sent to at least one.
ステップＳ１０４において、油圧ショベル１は、施工対象ＯＢＰを施工する。このとき、作業機制御装置５６は、作業機制御を実行する。すなわち、作業機制御装置５６は、目標施工情報によって表された、施工対象ＯＢＰの施工時において目標とされる形状に沿って、バケット８の刃先８ＢＴを移動させる。
In step S104, the hydraulic excavator 1 constructs the construction target OBP. At this time, the work machine control device 56 executes the work machine control. That is, the work machine control device 56 moves the cutting edge 8BT of the bucket 8 along the target shape at the time of construction of the construction target OBP represented by the target construction information.
本実施形態では、油圧ショベル１が目標施工情報に基づき作業機制御を実行して施工する。施工現場では、作業者がスコップ等の作業具を使って手作業で掘削等をすることもある。このような場合、作業者は、油圧ショベル１から送信され、携帯端末装置６４に取得された目標施工情報を確認して掘削等の施工を行ってもよい。
In the present embodiment, the hydraulic excavator 1 executes the work machine control based on the target construction information for construction. At the construction site, workers may manually excavate using work tools such as shovels. In such a case, the worker may perform construction such as excavation by confirming the target construction information transmitted from the hydraulic excavator 1 and acquired by the mobile terminal device 64.
施工が終了したら、ステップＳ１０５において、検出処理装置５１は施工後の施工対象ＯＢＰを少なくとも一対の撮像装置３０に撮像させ、得られた画像を用いて形状情報を生成する。次に、ステップＳ１０６において、施工管理装置５７は、検出処理装置５１が生成した施工後の形状情報を、図３に示される通信装置２５を介して管理装置６１に送信する。施工管理装置５７は、施工後の形状情報を、通信装置２５を介して図３に示される携帯端末装置６４に送信してもよい。施工後の形状情報を取得した管理装置６１は、図３に示される携帯端末装置６４に、通信装置６２を介して施工後の形状情報を送信してもよい。図２０に示される施工方法の処理例を示すフローチャートにおいて、ステップＳ１０６及びステップＳ１０７は実行されなくてもよい。
When the construction is completed, in step S105, the detection processing device 51 causes at least a pair of image pickup devices 30 to image the construction target OBP after the construction, and generates shape information using the obtained images. Next, in step S106, the construction management device 57 transmits the post-construction shape information generated by the detection processing device 51 to the management device 61 via the communication device 25 shown in FIG. The construction management device 57 may transmit the shape information after construction to the mobile terminal device 64 shown in FIG. 3 via the communication device 25. The management device 61 that has acquired the shape information after construction may transmit the shape information after construction to the mobile terminal device 64 shown in FIG. 3 via the communication device 62. In the flowchart showing the processing example of the construction method shown in FIG. 20, steps S106 and S107 may not be executed.
本実施形態においては、時刻情報ＴＭが形状情報に付されているので、管理装置６１及び携帯端末装置６４の少なくとも一方は、制御システム５０から送信された、所定の施行現場について施工前後の形状情報を表示装置６７及び携帯端末装置６４が有する表示装置の少なくとも一方の画面に表示させることにより、施工の進捗状況を表示させることができる。また、管理装置６１及び携帯端末装置６４の少なくとも一方は、施工現場の形状情報を時系列に並べて表示装置６７及び携帯端末装置６４が有する表示装置の少なくとも一方の画面に表示させたり、コマ送りで表示させたり、位置Ｐｒの座標の数値を表示させたりすることにより、日々の施工の進捗状況が分かりやすく表示される。油圧ショベル１の施工管理装置５７も、時系列の施工現場の形状情報が管理装置６１から得られていれば、表示装置５８の画面５８Ｄに施工現場の形状情報を時系列に並べて表示させることができる。すなわち、管理装置６１、携帯端末装置６４、施工管理装置及び施工管理装置５７の少なくとも１つは、時刻情報が付された前記形状情報を複数用いて、前記作業機械の施工現場全体の地形の情報を時系列に表示する表示装置を有する。
In the present embodiment, since the time information TM is attached to the shape information, at least one of the management device 61 and the mobile terminal device 64 is the shape information before and after construction for a predetermined execution site transmitted from the control system 50. Can be displayed on at least one screen of the display device included in the display device 67 and the mobile terminal device 64 to display the progress of construction. Further, at least one of the management device 61 and the mobile terminal device 64 arranges the shape information of the construction site in chronological order and displays it on at least one screen of the display device 67 and the mobile terminal device 64, or by frame-by-frame. By displaying or displaying the numerical value of the coordinate of the position Pr, the progress status of daily construction can be displayed in an easy-to-understand manner. The construction management device 57 of the hydraulic excavator 1 can also display the shape information of the construction site in chronological order on the screen 58D of the display device 58 if the shape information of the construction site in chronological order is obtained from the management device 61. it can. That is, at least one of the management device 61, the mobile terminal device 64, the construction management device, and the construction management device 57 uses the plurality of shape information to which the time information is attached to provide information on the topography of the entire construction site of the work machine. Has a display device that displays in chronological order.
本実施形態において、施工管理装置５７は、施工後の形状情報に加え、目標施工情報を、通信装置２５を介して管理装置６１及び携帯端末装置６４の少なくとも一方に送信してもよい。施工後の形状情報及び目標施工情報が、油圧ショベル１から管理装置６１のみに送信される場合、管理装置６１は、施工後の形状情報及び目標施工情報を、通信装置６２を介して携帯端末装置６４に送信してもよい。このようにすることで、管理装置６１及び携帯端末装置６４の少なくとも一方は、施工後の形状情報と目標施工情報とを表示装置６７の画面に並べて表示したり、重ねて表示したりすることができるので、管理者等は、施工の進捗状況を迅速かつ容易に確認できる。
In the present embodiment, the construction management device 57 may transmit the target construction information to at least one of the management device 61 and the mobile terminal device 64 via the communication device 25 in addition to the shape information after the construction. When the shape information and the target construction information after the construction are transmitted from the hydraulic excavator 1 only to the management device 61, the management device 61 transmits the shape information and the target construction information after the construction to the portable terminal device via the communication device 62. It may be transmitted to 64. By doing so, at least one of the management device 61 and the mobile terminal device 64 can display the shape information after construction and the target construction information side by side on the screen of the display device 67, or display them in an overlapping manner. Therefore, the manager or the like can quickly and easily confirm the progress of the construction.
＜対象を検出する方法の変形例＞
油圧ショベル１が有する少なくとも一対の撮像装置３０が対象を検出する方法の変形例を説明する。少なくとも一対の撮像装置３０は、油圧ショベル１の旋回体３に取り付けられる。旋回体３を旋回させながら少なくとも一対の撮像装置３０が対象を撮像することにより、検出処理装置５１は、油圧ショベル１の周囲全体の形状情報を得ることができる。
<Modified example of the method of detecting an object>
A modification of the method in which at least a pair of image pickup devices 30 included in the hydraulic excavator 1 detect an object will be described. At least a pair of image pickup devices 30 are attached to the swivel body 3 of the hydraulic excavator 1. When at least a pair of image pickup devices 30 image an object while turning the swivel body 3, the detection processing device 51 can obtain shape information of the entire circumference of the hydraulic excavator 1.
旋回体３をさせながら少なくとも一対の撮像装置３０が対象を撮像する場合、検出処理装置５１は、撮像のタイミングで旋回体３の旋回を停止させてもよい。この場合、旋回体３は断続的に旋回する。旋回体３を連続して旋回させながら少なくとも一対の撮像装置３０が対象を撮像する場合、次のようにする。
When at least a pair of image pickup devices 30 image an object while making the swivel body 3, the detection processing device 51 may stop the swivel body 3 from turning at the timing of the image pickup. In this case, the swivel body 3 turns intermittently. When at least a pair of image pickup devices 30 image an object while continuously turning the swivel body 3, the following is performed.
旋回体３を連続して旋回させながら少なくとも一対の撮像装置３０が対象を撮像する場合、少なくとも一対の撮像装置３０は、旋回体３が旋回を開始すると同時に撮像を開始し、旋回を停止することによって撮像を終了する。そして、検出処理装置５１は、旋回体３の旋回中に取得した画像をもとにステレオ方式における画像処理を施して形状情報を求めてもよい。この場合、例えば、操作装置３５のうち旋回体３を旋回させるための操作装置の操作にともなって出力される、パイロット圧の変化を示す信号又は電気信号を検出処理装置５１が受信し、旋回体３の旋回開始のタイミング及び旋回停止のタイミングを判断し、少なくとも一対の撮像装置３０に撮像を行わせる。
When at least a pair of image pickup devices 30 image an object while continuously turning the swivel body 3, at least the pair of image pickup devices 30 start imaging at the same time as the swivel body 3 starts turning and stop turning. Ends imaging with. Then, the detection processing device 51 may obtain the shape information by performing image processing in the stereo system based on the image acquired during the turning of the swivel body 3. In this case, for example, the detection processing device 51 receives a signal or an electric signal indicating a change in pilot pressure, which is output in association with the operation of the operating device for rotating the swivel body 3 of the operating device 35, and the swivel body The timing of turning start and the timing of turning stop of No. 3 are determined, and at least a pair of image pickup devices 30 are made to perform imaging.
旋回体３の旋回中に撮像装置３０が対象を撮像することによる三次元計測が実行される場合、検出処理装置５１は、撮像装置３０のシャッターが切られる毎に時刻情報ＴＭを生成して、撮像された画像と対応付ける。また、検出処理装置５１は、旋回体３の旋回が開始された時刻又は旋回が停止した時刻を時刻情報ＴＭとしてもよい。
When three-dimensional measurement is executed by the image pickup device 30 taking an image of an object while the swivel body 3 is turning, the detection processing device 51 generates a time information TM every time the shutter of the image pickup device 30 is released. Corresponds to the captured image. Further, the detection processing device 51 may use the time when the turning of the turning body 3 is started or the time when the turning is stopped as the time information TM.
制御システム５０は、少なくとも一対の撮像装置３０によって撮像された対象の形状情報と、形状情報が得られた時刻情報とを対応付けるので、時刻情報に基づいて形状情報を組み合わせることで、作業現場の現状の状況を得ることができる。
Since the control system 50 associates the shape information of the object imaged by at least one pair of image pickup devices 30 with the time information from which the shape information is obtained, the current state of the work site can be obtained by combining the shape information based on the time information. You can get the situation.
油圧ショベル１のような作業機械は、複雑な地形の上で施工することも多く、撮像装置３０が撮像する対象に対して大きく傾いている場合も多い。異なるタイミングで同じ場所で対象が撮像される場合、その場所は施工等が行われて地面の傾斜が変化してしまっていることも想定される。一対の撮像装置３０は、油圧ショベル１が稼働している間に互いの相対的な位置関係がずれないように、油圧ショベル１に確実に取り付けられるので、油圧ショベル１の姿勢に応じて一対の撮像装置３０の姿勢を変化させることは難しい。
A work machine such as a hydraulic excavator 1 is often installed on a complicated terrain, and is often greatly tilted with respect to an object to be imaged by the image pickup apparatus 30. If the object is imaged at the same place at different timings, it is assumed that the slope of the ground has changed due to construction work at that place. Since the pair of image pickup devices 30 are securely attached to the hydraulic excavator 1 so that their relative positional relationships do not shift while the hydraulic excavator 1 is operating, the pair of image pickup devices 30 are paired according to the posture of the hydraulic excavator 1. It is difficult to change the posture of the image pickup device 30.
本実施形態において、制御システム５０は、油圧ショベルの姿勢を用いて形状情報を求める。このとき、制御システム５０は、ＩＭＵ２４の検出値と、位置検出装置２３によって検出された油圧ショベル１の位置から得られた油圧ショベルの方位とを用いて、撮像装置３０によって得られた三次元位置情報を、グローバル座標系における三次元位置情報に変換する。変換後の三次元位置情報が形状情報となる。このような処理により、制御システム５０が求めた形状情報は、油圧ショベル１の傾斜の影響を抑制して、施工前後の地形の比較等を適切に行うことができる。
In the present embodiment, the control system 50 obtains shape information using the posture of the hydraulic excavator. At this time, the control system 50 uses the detection value of the IMU 24 and the orientation of the hydraulic excavator obtained from the position of the hydraulic excavator 1 detected by the position detection device 23 to obtain a three-dimensional position obtained by the image pickup device 30. Converts information into three-dimensional position information in the global coordinate system. The three-dimensional position information after conversion becomes the shape information. By such processing, the shape information obtained by the control system 50 can suppress the influence of the inclination of the hydraulic excavator 1 and can appropriately compare the topography before and after the construction.
制御システム５０は、作業現場を撮像装置３０によって撮像することで、作業現場の形状情報、すなわち作業現場の三次元位置情報を得ることができる。制御システム５０は油圧ショベル１に設けられているので、作業現場の様々な場所に移動して形状情報を求めることができる。このようにして求めた複数の形状情報を、時刻情報に基づいて結合させることで、作業現場の状況及び作業現場の状況の変化を把握できるようになる。その結果、管理装置６１は、対象の位置を検出する検出装置である少なくとも一対の撮像装置３０及び検出処理装置５１を有する作業機械である油圧ショベル１が得た検出結果を用いて施工状況を管理することができる。
The control system 50 can obtain shape information of the work site, that is, three-dimensional position information of the work site by imaging the work site with the image pickup device 30. Since the control system 50 is provided on the hydraulic excavator 1, it is possible to move to various places on the work site and obtain shape information. By combining the plurality of shape information obtained in this way based on the time information, it becomes possible to grasp the situation at the work site and the change in the situation at the work site. As a result, the management device 61 manages the construction status using the detection results obtained by the hydraulic excavator 1, which is a work machine having at least a pair of image pickup devices 30 and detection processing devices 51, which are detection devices for detecting the position of the target. can do.
例えば、管理装置６１は、同時刻とみなせる範囲内で得られた複数の異なる形状情報を抽出して結合させることにより、同時刻とみなせる範囲内における施工現場の施工状態を得ることができる。例えば、同時刻とみなせる範囲内における施工現場の施工状態を複数得ることにより、施工の進捗状況が把握される。このように、管理装置６１は、撮像装置３０及び検出処理装置５１を有する作業機械と撮像装置３０及び検出処理装置５１を有さない作業機械とが混在する施工現場の施工状況を管理できる。このように、制御システム５０を有する油圧ショベル１が作業現場に１台あれば、油圧ショベル１が自身の施工対象だけでなく、他の作業機械の施工対象についても形状情報を生成できるので、施工現場全体における施工の進捗管理及び出来高管理が可能になる。
For example, the management device 61 can obtain the construction state of the construction site within the range that can be regarded as the same time by extracting and combining a plurality of different shape information obtained within the range that can be regarded as the same time. For example, the progress of construction can be grasped by obtaining a plurality of construction conditions at the construction site within a range that can be regarded as the same time. In this way, the management device 61 can manage the construction status of the construction site where the work machine having the image pickup device 30 and the detection processing device 51 and the work machine having no image pickup device 30 and the detection processing device 51 coexist. In this way, if there is one hydraulic excavator 1 having a control system 50 at the work site, the hydraulic excavator 1 can generate shape information not only for its own construction target but also for the construction target of other work machines. It will be possible to manage the progress and volume of construction at the entire site.
制御システム５０は、油圧ショベル１に設けられた少なくとも一対の撮像装置３０を用いて施工対象を検出し、検出結果である少なくとも一対の画像から施工対象の形状情報を求め、得られた形状情報から対象を施工するときに目標とする形状の情報である形状情報を求める。したがって、制御システム５０は、作業者が施工現場において、測量器等を使用して施工対象を測量して対象の形状を求めていた作業を不要にさせ、また、求められた施工対象に基づく目標とする形状の生成作業、つまり目標とする形状の情報を設計する作業を不要にさせる。その結果、制御システム５０は、施工対象の現況地形を測量する手間及び施工対象の施工時に目標となる形状を求める際の手間を低減することができる。制御システム５０は、作業者による、測量器等を使用した測量が困難である場所も、撮像装置３０が撮像できる場所であれば目標施工情報を生成できるので、より効率的に作業機械による施工及び作業者の手による掘削等の施工が実現できる。また、制御システム５０によって施工対象の測量ができるため、施工現場で測量を行う作業者の負担が軽減される。
The control system 50 detects the construction target using at least a pair of image pickup devices 30 provided on the hydraulic excavator 1, obtains the shape information of the construction target from at least a pair of images which are the detection results, and obtains the shape information of the construction target from the obtained shape information. Obtain shape information, which is information on the target shape when constructing the target. Therefore, the control system 50 eliminates the work of the worker surveying the construction target using a surveying instrument or the like to obtain the shape of the target at the construction site, and also makes the target based on the obtained construction target. The work of generating the desired shape, that is, the work of designing the information of the target shape is eliminated. As a result, the control system 50 can reduce the time and effort required to measure the current topography of the construction target and the time and effort required to obtain the target shape at the time of construction of the construction target. The control system 50 can generate target construction information even in a place where it is difficult for an operator to make a survey using a surveying instrument or the like as long as the image pickup device 30 can take an image. Construction such as excavation by the operator can be realized. Further, since the control system 50 can survey the construction target, the burden on the operator who conducts the survey at the construction site is reduced.
例えば、ＣＡＤ（Computer Aided Design）等の設計ツールで作成された、施工対象の目標施工情報が存在する場合、作業機械によって施工を行うために、その目標施工情報が示す場所、すなわちこれから施工しようとする場所に作業機械を移動させることが必要になる場合がある。制御システム５０を有する油圧ショベル１は、少なくとも一対の撮像装置３０を有し、これから施工する施工対象を少なくとも一対の撮像装置３０によって撮像し、撮像結果に基づいて目標施工情報を生成する。このように、油圧ショベル１は、測量器として機能するとともに設計ツールとして機能する。つまり、施工する場所で、施工対象の目標施工情報を生成できるので、これから施工しようとする場所に移動しなくてもよい。その結果、移動時間及び設計期間が短縮できるので、作業効率が向上する。
For example, when there is target construction information for construction target created by a design tool such as CAD (Computer Aided Design), in order to perform construction by a work machine, the place indicated by the target construction information, that is, the construction is to be performed from now on. It may be necessary to move the work machine to the desired location. The hydraulic excavator 1 having the control system 50 has at least a pair of image pickup devices 30, and the construction target to be constructed is imaged by at least a pair of image pickup devices 30, and target construction information is generated based on the image pickup result. In this way, the hydraulic excavator 1 functions as a surveying instrument and also as a design tool. That is, since the target construction information of the construction target can be generated at the construction site, it is not necessary to move to the location where the construction is to be performed. As a result, the travel time and the design period can be shortened, so that the work efficiency is improved.
本実施形態では、油圧ショベル１が有する制御システムが形状情報を生成したが、形状情報は管理装置６１が生成してもよい。この場合、一対の撮像装置３０によって撮像された画像にステレオ方式による画像処理が施された結果、油圧ショベル１の姿勢を示す情報及び油圧ショベル１のグローバル座標系における位置その他の形状情報を求めるために必要な情報が、通信装置２５を介して管理装置６１に送信される。
In the present embodiment, the control system included in the hydraulic excavator 1 generates the shape information, but the shape information may be generated by the management device 61. In this case, as a result of performing image processing by the stereo method on the images captured by the pair of image pickup devices 30, information indicating the posture of the hydraulic excavator 1 and position and other shape information of the hydraulic excavator 1 in the global coordinate system are obtained. Information necessary for the above is transmitted to the management device 61 via the communication device 25.
油圧ショベル１等の作業機械は施工現場で移動するため、少なくとも一対の撮像装置３０が撮像する現場の傾斜は様々であるし、撮像する場所の傾斜も施工によって時間の経過とともに変化することがある。このような施工現場においても、制御システム５０は、油圧ショベル１の姿勢を表す情報、本実施形態ではロール角θｒ、ピッチ角θｐ及び方位角θｄを用いて形状情報を生成するので、適切な施工管理を実現できる。
Since a work machine such as a hydraulic excavator 1 moves at a construction site, the inclination of the site where at least a pair of image pickup devices 30 image images varies, and the inclination of the image capturing place may change with the passage of time depending on the construction. .. Even at such a construction site, the control system 50 generates shape information using information indicating the posture of the hydraulic excavator 1, roll angle θr, pitch angle θp, and azimuth angle θd in the present embodiment, so that appropriate construction is performed. Management can be realized.
本実施形態において、制御システム５０は、油圧ショベル１の姿勢を表すロール角θｒ、ピッチ角θｐ及び方位角θｄを用いて形状情報を生成したが、油圧ショベル１の姿勢変化に対して一対の撮像装置３０の相対的な位置関係を保持したまま、両者の姿勢が一定となる機構によって一対の撮像装置３０が支持されるようにしてもよい。この場合、例えば、一対の撮像装置３０の基線が常に水平を保つような機構で一対の撮像装置３０が支持される。
In the present embodiment, the control system 50 generates shape information using the roll angle θr, the pitch angle θp, and the azimuth angle θd that represent the posture of the hydraulic excavator 1, but a pair of imaging images are taken for the posture change of the hydraulic excavator 1. The pair of image pickup devices 30 may be supported by a mechanism that keeps the postures of both devices constant while maintaining the relative positional relationship of the devices 30. In this case, for example, the pair of imaging devices 30 are supported by a mechanism that keeps the baselines of the pair of imaging devices 30 always horizontal.
本実施形態において、制御システム５０は、制御システム５０を有する油圧ショベル１及び制御システム５０を有さない作業機械が施工する範囲及び施工された後の範囲を対象として形状情報を生成するが、制御システム５０が形状情報を生成する対象はこれらに限定されない。例えば、制御システム５０は、施工現場でスコップ等によって掘削等の作業する作業者が施工した範囲、又はこれから施工使用とする範囲の形状情報を生成することもできる。このようにすることで、制御システム５０及び制御システム５０を有する施工管理システム１００は、施工現場全体の施工状況を管理することができる。前述のように、制御システム５０は、施工前後の形状情報の差分から、作業者がスコップ等によって掘削や盛土を行った土量も求めることができる。
In the present embodiment, the control system 50 generates shape information for a range to be constructed by a hydraulic excavator 1 having the control system 50 and a work machine without the control system 50 and a range after the construction, but is controlled. The target for which the system 50 generates shape information is not limited to these. For example, the control system 50 can also generate shape information of a range constructed by a worker who works for excavation or the like by a scoop or the like at a construction site, or a range to be used for construction from now on. By doing so, the construction management system 100 having the control system 50 and the control system 50 can manage the construction status of the entire construction site. As described above, the control system 50 can also obtain the amount of soil that the operator has excavated or filled with a scoop or the like from the difference in shape information before and after construction.
本実施形態においては、制御システム５０が作業機械である油圧ショベル１に備えられているが、形状情報を生成したり目標施工情報を生成したりするシステムは測量用の車両に備えられていてもよい。例えば、形状情報を生成する場合は、少なくとも一対の撮像装置３０及び検出処理装置５１が測量用の車両に備えられる。形状情報に加え、目標施工情報も生成する場合は、少なくとも一対の撮像装置３０及び検出処理装置５１に加え、施工情報生成装置５２が測量用の車両に備えられる。いずれの場合でも、測量用の車両は、施工現場で作業する作業機械、管理装置６１及び携帯端末装置６４の少なくとも１つと通信できる通信装置２５を有することが好ましい。
In the present embodiment, the control system 50 is provided in the hydraulic excavator 1 which is a work machine, but even if the system for generating shape information and target construction information is provided in the surveying vehicle. Good. For example, when generating shape information, at least a pair of imaging devices 30 and detection processing devices 51 are provided in the surveying vehicle. When generating target construction information in addition to shape information, a construction information generating device 52 is provided in the surveying vehicle in addition to at least a pair of imaging devices 30 and a detection processing device 51. In any case, the surveying vehicle preferably has a communication device 25 capable of communicating with at least one of the work machine, the management device 61 and the mobile terminal device 64 working at the construction site.
本実施形態において、ステレオ方式における画像処理は、油圧ショベル１の外部、例えば管理施設６０の管理装置６１及び携帯端末装置６４の少なくとも一つが行ってもよい。この場合、例えば、少なくとも一対の撮像装置３０によって撮像された対象の一対の画像が、通信装置２５を介して管理装置６１及び携帯端末装置６４の少なくとも一つに送信され、管理装置６１及び携帯端末装置６４の少なくとも一つは、対象の画像にステレオ方式による画像処理を施す。
In the present embodiment, the image processing in the stereo system may be performed outside the hydraulic excavator 1, for example, at least one of the management device 61 and the mobile terminal device 64 of the management facility 60. In this case, for example, a pair of images of the target captured by at least the pair of image pickup devices 30 are transmitted to at least one of the management device 61 and the mobile terminal device 64 via the communication device 25, and the management device 61 and the mobile terminal At least one of the devices 64 performs image processing on the target image by a stereo method.
本実施形態において、油圧ショベル１の外部、例えば管理施設６０の管理装置６１及び携帯端末装置６４の少なくとも一つが、形状情報を生成してもよい。特に、油圧ショベル１の姿勢を表すロール角θｒ、ピッチ角θｐ及び方位角θｄを用いた変換を、油圧ショベル１の外部、例えば管理施設６０の管理装置６１及び携帯端末装置６４の少なくとも一つが行ってもよい。この場合、少なくとも一対の撮像装置３０によって撮像された対象の一対の画像にステレオ方式による画像処理が施された情報が、ロール角θｒ、ピッチ角θｐ及び方位角θｄとともに、通信装置２５を介して油圧ショベル１の外部、例えば管理施設６０の管理装置６１及び携帯端末装置６４の少なくとも一つに送信される。
In the present embodiment, the outside of the hydraulic excavator 1, for example, at least one of the management device 61 and the mobile terminal device 64 of the management facility 60 may generate shape information. In particular, conversion using the roll angle θr, the pitch angle θp, and the azimuth angle θd representing the posture of the hydraulic excavator 1 is performed by at least one of the management device 61 and the mobile terminal device 64 of the management facility 60, for example, outside the hydraulic excavator 1. You may. In this case, information obtained by performing image processing by a stereo method on at least a pair of images of objects captured by the pair of image pickup devices 30 is transmitted via a communication device 25 together with a roll angle θr, a pitch angle θp, and an azimuth angle θd. It is transmitted to the outside of the hydraulic excavator 1, for example, at least one of the management device 61 and the mobile terminal device 64 of the management facility 60.
本実施形態において、まず少なくとも一対の撮像装置３０によって撮像された画像から得られた施工対象ＯＢＰの位置Ｐｓが求められ、その後、グローバル座標系の位置Ｐｇに変換されるとともに、油圧ショベルの姿勢による傾きが補正されてもよい。本実施形態において、制御システム５０は、例えばＩＭＵ２４が油圧ショベル１の旋回体３の旋回及び油圧ショベル１の移動の少なくとも一方を検出したら、撮像装置３０による撮像を禁止したり、検出処理装置５１が形状情報を生成しないようにしたりする制御を実行してもよい。本実施形態において、油圧ショベル１が他の作業機械７０に形状情報を送信し、他の作業機械７０が目標施工情報を生成してもよい。
In the present embodiment, first, the position Ps of the construction target OBP obtained from the images captured by at least a pair of image pickup devices 30 is obtained, and then it is converted to the position Pg of the global coordinate system, and it depends on the posture of the hydraulic excavator. The tilt may be corrected. In the present embodiment, for example, when the IMU 24 detects at least one of the rotation of the swivel body 3 of the hydraulic excavator 1 and the movement of the hydraulic excavator 1, the control system 50 prohibits imaging by the imaging device 30 or causes the detection processing device 51 to prohibit imaging. Controls such as not generating shape information may be executed. In the present embodiment, the hydraulic excavator 1 may transmit the shape information to the other work machine 70, and the other work machine 70 may generate the target construction information.
本実施形態で開示された構成は、以下の実施形態においても適宜適用することができる。
The configuration disclosed in this embodiment can be appropriately applied to the following embodiments as well.
実施形態２．
実施形態２は、複数の作業機械が作業する施工現場において、制御システム５０を有する作業機械である油圧ショベル１が施工対象ＯＢＰの情報を取得して形状情報及び目標施工情報の少なくとも一方を生成する。そして、油圧ショベル１は、生成した目標施工情報を他の作業機械、すなわち油圧ショベル１以外の作業機械に送信する。油圧ショベル１及び他の作業機械は、油圧ショベル１によって生成された目標施工情報を用いて施工対象ＯＢＰを施工する。他の作業機械は、図３に示される他の作業機械７０の他、例えば、ブルドーザー、ホイールローダー及びグレーダーであってもよい。他の作業機械は、制御システム５０を備えていてもよい。また、他の作業機械は、撮像装置３０を備えていてもよいし、備えていなくてもよい。他の作業機械は、少なくとも通信装置を備えている。
Embodiment 2.
In the second embodiment, at a construction site where a plurality of work machines work, the hydraulic excavator 1, which is a work machine having a control system 50, acquires information on the construction target OBP and generates at least one of shape information and target construction information. .. Then, the hydraulic excavator 1 transmits the generated target construction information to another work machine, that is, a work machine other than the hydraulic excavator 1. The hydraulic excavator 1 and other work machines construct the construction target OBP using the target construction information generated by the hydraulic excavator 1. Other work machines may be, for example, bulldozers, wheel loaders and graders, in addition to the other work machines 70 shown in FIG. Other work machines may include a control system 50. Further, the other work machine may or may not be provided with the image pickup device 30. Other work machines are equipped with at least a communication device.
図２１は、実施形態２に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。図２２は、施工対象ＯＢＰの形状情報ＳＩａ，ＳＩｂと目標施工情報ＴＩａ，ＴＩｂとの関係を示す図である。図２３は、施工対象ＯＢＰを施工した後における形状情報ＳＩａｓ，ＳＩｂｓを示す図である。本実施形態に係る施工管理方法は、制御システム５０によって実現される。本実施形態において、制御システム５０は、施工管理システムとしても機能する。
FIG. 21 is a flowchart showing a processing example of the shape measuring method and the construction management method according to the second embodiment. FIG. 22 is a diagram showing the relationship between the shape information SIa and SIb of the construction target OBP and the target construction information TIa and TIb. FIG. 23 is a diagram showing shape information SIas and SIbs after the construction target OBP is constructed. The construction management method according to this embodiment is realized by the control system 50. In this embodiment, the control system 50 also functions as a construction management system.
本実施形態及び以下の実施形態において、図３に示される制御システム５０を有する油圧ショベル１が第１の作業機械に相当し、他の作業機械７０が第２の作業機械に相当する。他の作業機械７０は、制御システム５０を有していないものとする。形状情報及び形状情報から生成される目標施工情報は、制御システム５０の機器類が有する記憶部及び管理装置６１の記憶部の少なくとも一方に記憶される。
In this embodiment and the following embodiments, the hydraulic excavator 1 having the control system 50 shown in FIG. 3 corresponds to the first work machine, and the other work machine 70 corresponds to the second work machine. It is assumed that the other work machine 70 does not have the control system 50. The shape information and the target construction information generated from the shape information are stored in at least one of the storage unit of the devices of the control system 50 and the storage unit of the management device 61.
図３に示される撮像スイッチ３２がオペレータによって操作されて撮像指令が検出処理装置５１に入力されると、ステップＳ２０１において、検出処理装置５１は、少なくとも一対の撮像装置３０に施工対象ＯＢＰを撮像させる。少なくとも一対の撮像装置３０が撮像する範囲は、油圧ショベル１が施工する範囲だけでなく、施工現場で作業する他の作業機械７０が施工する範囲も撮像する。さらに、施工現場で作業する作業者が施工する範囲が撮像されてもよい。すなわち、制御システム５０が有する少なくとも一対の撮像装置３０が撮像する対象は、少なくとも一対の撮像装置３０が取り付けられた油圧ショベル１の施工予定箇所とは異なる施工予定箇所と、油圧ショベル１の施工後の箇所とは異なる施工後の箇所とを少なくとも含む。油圧ショベル１以外の手段、例えば、作業者によるスコップ等の手段による施工予定箇所と、施工後の箇所との少なくとも一方が、少なくとも一対の撮像装置３０が撮像する対象に含まれていてもよい。すなわち、制御システム５０が有する少なくとも一対の撮像装置３０が撮像する対象は、油圧ショベル１以外の手段による施工予定箇所と、油圧ショベル１以外の手段による施工後の箇所との少なくとも一方を含んでいてもよい。油圧ショベル１は、他の作業機械７０が施工する範囲を撮像するために施工現場を移動したり、旋回体３を旋回させたりしてもよい。
When the imaging switch 32 shown in FIG. 3 is operated by the operator and an imaging command is input to the detection processing device 51, in step S201, the detection processing device 51 causes at least a pair of imaging devices 30 to image the construction target OBP. .. The range imaged by at least a pair of image pickup devices 30 is not only the range constructed by the hydraulic excavator 1, but also the range constructed by another work machine 70 working at the construction site. Further, the range to be constructed by a worker working at the construction site may be imaged. That is, the objects to be imaged by at least a pair of image pickup devices 30 included in the control system 50 are a planned construction location different from the planned construction location of the hydraulic excavator 1 to which at least the pair of imaging devices 30 are attached, and after the construction of the hydraulic excavator 1. At least includes the parts after construction that are different from the parts of. At least one of a portion scheduled to be constructed by means other than the hydraulic excavator 1, for example, a scoop by an operator, and a portion after construction may be included in the object to be imaged by at least a pair of image pickup devices 30. That is, the target to be imaged by at least one pair of image pickup devices 30 included in the control system 50 includes at least one of the planned construction portion by means other than the hydraulic excavator 1 and the post-construction portion by means other than the hydraulic excavator 1. May be good. The hydraulic excavator 1 may move the construction site or rotate the swivel body 3 in order to image the range to be constructed by the other work machine 70.
ステップＳ２０２において、検出処理装置５１は、少なくとも一対の撮像装置３０が撮像した画像にステレオ方式による画像処理を施して施工対象ＯＢＰの位置（三次元位置）を求め、得られた施工対象ＯＢＰの位置を用いて施工対象ＯＢＰの形状情報を生成する。図２２に示されるように、油圧ショベル１の施工対象ＯＢＰからは形状情報ＳＩａが生成され、他の作業機械７０の施工対象ＯＢＰからは形状情報ＳＩｂが生成される。検出処理装置５１は、生成された形状情報ＳＩａ，ＳＩｂを、自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。形状情報を生成する手法は、実施形態１で説明した通りである。
In step S202, the detection processing device 51 performs image processing by a stereo method on the images captured by at least a pair of image pickup devices 30 to obtain the position (three-dimensional position) of the construction target OBP, and obtains the position of the construction target OBP. Is used to generate shape information of the construction target OBP. As shown in FIG. 22, the shape information SIa is generated from the construction target OBP of the hydraulic excavator 1, and the shape information SIb is generated from the construction target OBP of the other work machine 70. The detection processing device 51 stores the generated shape information SIa and SIb in at least one of its own storage unit and the storage unit 57M of the construction management device 57. The method for generating the shape information is as described in the first embodiment.
ステップＳ２０３において、施工情報生成装置５２は、検出処理装置５１から形状情報ＳＩａ，ＳＩｂを取得し、目標施工情報ＴＩａ，ＴＩｂを生成する。形状情報ＳＩａからは目標施工情報ＴＩａが生成され、形状情報ＳＩｂからは目標施工情報ＴＩｂが生成される。目標施工情報を生成する手法は、実施形態１で説明した通りである。施工情報生成装置５２は、生成した目標施工情報を自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。この場合、生成されたすべての目標施工情報、すなわち油圧ショベル１の施工対象ＯＢＰの目標施工情報及び他の作業機械７０の施工対象ＯＢＰの目標施工情報が、施工情報生成装置５２の記憶部に記憶される。ステップＳ２０３において、制御システム５０は、生成された目標施工情報を記憶部に記憶せず、次のステップＳ２０４を実行するため、目標施工情報が生成されたら直ちに他の作業機械に送信するようにしてもよい。
In step S203, the construction information generation device 52 acquires the shape information SIa and SIb from the detection processing device 51 and generates the target construction information TIa and TIb. The target construction information TIa is generated from the shape information SIa, and the target construction information TIb is generated from the shape information SIb. The method for generating the target construction information is as described in the first embodiment. The construction information generation device 52 stores the generated target construction information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. In this case, all the generated target construction information, that is, the target construction information of the construction target OBP of the hydraulic excavator 1 and the target construction information of the construction target OBP of the other work machine 70 are stored in the storage unit of the construction information generation device 52. Will be done. In step S203, the control system 50 does not store the generated target construction information in the storage unit, and executes the next step S204. Therefore, when the target construction information is generated, it is immediately transmitted to another work machine. May be good.
ステップＳ２０４において、施工情報生成装置５２又は施工管理装置５７は、図３に示される通信装置２５を介して他の作業機械７０に目標施工情報を送信する。ステップＳ２０５Ａにおいて、油圧ショベル１は、生成した目標施工情報を用いて施工対象ＯＢＰを施工する。ステップＳ２０５Ｂにおいて、他の作業機械７０は、油圧ショベル１から取得した目標施工情報を用いて施工対象ＯＢＰを施工する。ステップＳ２０５Ａ及びステップＳ２０５Ｂにおいて、油圧ショベル１及び他の作業機械７０は、作業機制御装置５６を備えており、目標施工情報に沿って作業機制御を実行可能である。油圧ショベル１及び他の作業機械７０は、目標施工情報によって表された、施工対象ＯＢＰの施工時において目標とされる形状に沿って、バケット８の刃先８ＢＴ及び作業機を移動させる。
In step S204, the construction information generation device 52 or the construction management device 57 transmits the target construction information to the other work machine 70 via the communication device 25 shown in FIG. In step S205A, the hydraulic excavator 1 constructs the construction target OBP using the generated target construction information. In step S205B, the other work machine 70 constructs the construction target OBP using the target construction information acquired from the hydraulic excavator 1. In step S205A and step S205B, the hydraulic excavator 1 and the other work machine 70 include the work machine control device 56, and can execute the work machine control according to the target construction information. The hydraulic excavator 1 and the other work machine 70 move the cutting edge 8BT of the bucket 8 and the work machine along the shape targeted at the time of construction of the construction target OBP represented by the target construction information.
この場合、他の作業機械７０が制御システム５０を備えているのであれば、取得した目標施工情報に沿って作業機の動きが制御されてもよい。他の作業機械７０が制御システム５０を備えていないのであれば、他の作業機械７０に備えられた表示装置に目標施工情報が表示され、オペレータが表示装置に表示された目標施工情報を見ながら作業機を操作してもよい。
In this case, if the other work machine 70 includes the control system 50, the movement of the work machine may be controlled according to the acquired target construction information. If the other work machine 70 does not have the control system 50, the target construction information is displayed on the display device provided in the other work machine 70, and the operator sees the target construction information displayed on the display device. You may operate the work equipment.
施工が終了したら、ステップＳ２０６において、検出処理装置５１は施工後の施工対象ＯＢＰを少なくとも一対の撮像装置３０に撮像させ、得られた画像を用いて図２３に示される形状情報ＳＩａｓを生成する。このとき、検出処理装置５１は、他の作業機械が施工した施工対象ＯＢＰも撮像して図２３に示される形状情報ＳＩｂｓを生成する。検出処理装置５１は、生成した形状情報を、自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。
When the construction is completed, in step S206, the detection processing device 51 causes at least a pair of image pickup devices 30 to image the construction target OBP after the construction, and generates the shape information SIas shown in FIG. 23 using the obtained images. At this time, the detection processing device 51 also images the construction target OBP constructed by another work machine and generates the shape information SIbs shown in FIG. 23. The detection processing device 51 stores the generated shape information in at least one of its own storage unit and the storage unit 57M of the construction management device 57.
油圧ショベル１は、他の作業機械７０が施工した範囲を撮像するために施工現場を移動したり、旋回体３を旋回させたりしてもよい。次に、ステップＳ２０７において、施工管理装置５７は、検出処理装置５１が生成した施工後の形状情報を、通信装置２５を介して管理装置６１に送信する。施工管理装置５７が施工後の形状情報を図３に示される携帯端末装置６４に送信してもよいこと、施工後の形状情報に加え、目標施工情報を、通信装置２５を介して管理装置６１及び携帯端末装置６４の少なくとも一方に送信してもよいこと等は、実施形態１と同様である。本実施形態において、図２１に示された施工方法の処理例を示すフローチャートにおいて、ステップＳ２０６及びステップＳ２０７は実行されなくてもよい。
The hydraulic excavator 1 may move the construction site or rotate the swivel body 3 in order to image the range constructed by the other work machine 70. Next, in step S207, the construction management device 57 transmits the post-construction shape information generated by the detection processing device 51 to the management device 61 via the communication device 25. The construction management device 57 may transmit the shape information after construction to the mobile terminal device 64 shown in FIG. 3, and in addition to the shape information after construction, the target construction information is transmitted to the management device 61 via the communication device 25. And it may be transmitted to at least one of the portable terminal devices 64, and the like is the same as in the first embodiment. In the present embodiment, in the flowchart showing the processing example of the construction method shown in FIG. 21, steps S206 and S207 may not be executed.
本実施形態においては、制御システム５０を有する少なくとも一台の作業機械、本実施形態では油圧ショベル１が、自身及び施工現場に存在する他の作業機械７０の施工対象の形状情報を求める。このため、管理装置６１は、制御システムを有する油圧ショベルによって得られた形状情報を用いて施工現場の施工状況を管理することができる。制御システム５０は、作業機械の施工対象だけでなく、施工現場で作業する作業者の施工対象の形状情報も生成できるので、作業者による施工対象に対する測量が不要になる。その結果、施工現場全体の施工状況の管理が容易になる。
In the present embodiment, at least one work machine having the control system 50, and in the present embodiment, the hydraulic excavator 1 obtains shape information of the construction target of itself and other work machines 70 existing at the construction site. Therefore, the management device 61 can manage the construction status at the construction site by using the shape information obtained by the hydraulic excavator having the control system. Since the control system 50 can generate not only the construction target of the work machine but also the shape information of the construction target of the worker working at the construction site, the operator does not need to survey the construction target. As a result, it becomes easy to manage the construction status of the entire construction site.
制御システム５０は、生成した形状情報に時刻情報を付けるので、施工管理システム１００では、形状情報と時刻情報とが対応付けられて取り扱われる。このため、管理装置６１は、時刻情報に基づいて施工状況の管理に用いる複数の形状情報を抽出することができる。例えば、管理装置６１は、同時刻とみなせる範囲内で得られた複数の異なる形状情報を抽出して結合させることにより、同時刻とみなせる範囲内における施工現場の施工状態を得ることができる。例えば、同時刻とみなせる範囲内における施工現場の施工状態を複数得ることにより、施工の進捗状況が把握される。このように、施工管理システム１００は、撮像装置３０及び検出処理装置５１を有する作業機械と撮像装置３０及び検出処理装置５１を有さない作業機械とが混在する施工現場の施工状況を管理できる。
Since the control system 50 attaches time information to the generated shape information, the construction management system 100 handles the shape information and the time information in association with each other. Therefore, the management device 61 can extract a plurality of shape information used for managing the construction status based on the time information. For example, the management device 61 can obtain the construction state of the construction site within the range that can be regarded as the same time by extracting and combining a plurality of different shape information obtained within the range that can be regarded as the same time. For example, the progress of construction can be grasped by obtaining a plurality of construction conditions at the construction site within a range that can be regarded as the same time. In this way, the construction management system 100 can manage the construction status of the construction site where the work machine having the image pickup device 30 and the detection processing device 51 and the work machine having no image pickup device 30 and the detection processing device 51 coexist.
本実施形態においては、制御システム５０を有している作業機械、本実施形態では油圧ショベル１が、施工現場に存在する他の作業機械７０の施工対象の目標施工情報を生成する。このため、制御システム５０を有している作業機械が施工現場に少なくとも１台存在すれば、この作業機械が施工現場の形状情報及び目標施工情報を生成し、他の作業機械は作成された目標施工情報を利用して施工することができる。このため、例えば、目標施工情報が存在しない施工現場を複数の作業機械で施工するときの効率が向上する。
In the present embodiment, the work machine having the control system 50, and in the present embodiment, the hydraulic excavator 1 generates target construction information of the construction target of another work machine 70 existing at the construction site. Therefore, if at least one work machine having the control system 50 exists at the construction site, this work machine generates shape information and target construction information of the construction site, and the other work machines generate the created target. It can be constructed using the construction information. Therefore, for example, the efficiency when constructing a construction site where the target construction information does not exist with a plurality of work machines is improved.
本実施形態で開示された構成は、以下の実施形態においても適宜適用することができる。
The configuration disclosed in this embodiment can be appropriately applied to the following embodiments as well.
実施形態３．
実施形態３は、油圧ショベル１が作業する施工現場において、制御システム５０を有する油圧ショベル１が施工対象ＯＢＰの情報を取得して形状情報及び目標施工情報を生成し、生成した形状情報を、図３に示される管理施設６０の管理装置６１及び他の作業機械７０に送信する。
Embodiment 3.
In the third embodiment, at the construction site where the hydraulic excavator 1 works, the hydraulic excavator 1 having the control system 50 acquires the information of the construction target OBP and generates the shape information and the target construction information, and the generated shape information is shown in the figure. It is transmitted to the management device 61 of the management facility 60 and the other work machine 70 shown in 3.
図２４は、実施形態３に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。本実施形態に係る施工管理方法は、少なくとも制御システム５０及び管理装置６１によって実現される。本実施形態において、制御システム５０及び管理装置６１は、施工管理システムとしても機能する。
FIG. 24 is a flowchart showing a processing example of the shape measuring method and the construction management method according to the third embodiment. The construction management method according to the present embodiment is realized by at least the control system 50 and the management device 61. In the present embodiment, the control system 50 and the management device 61 also function as a construction management system.
図３に示される撮像スイッチ３２がオペレータによって操作されて撮像指令が検出処理装置５１に入力されると、ステップＳ３０１において、検出処理装置５１は、少なくとも一対の撮像装置３０に施工対象ＯＢＰを撮像させる。少なくとも一対の撮像装置３０が撮像する範囲は、油圧ショベル１が施工する範囲だけでなく、施工現場で作業する他の作業機械７０施工する範囲も撮像する。油圧ショベル１は、他の作業機械７０が施工する範囲を撮像するために施工現場を移動してもよい。
When the imaging switch 32 shown in FIG. 3 is operated by the operator and an imaging command is input to the detection processing device 51, in step S301, the detection processing device 51 causes at least a pair of imaging devices 30 to image the construction target OBP. .. The range to be imaged by at least a pair of image pickup devices 30 is not only the range to be constructed by the hydraulic excavator 1, but also the range to be constructed by another work machine 70 working at the construction site. The hydraulic excavator 1 may move to the construction site in order to image the area to be constructed by the other work machine 70.
ステップＳ３０２において、検出処理装置５１は、少なくとも一対の撮像装置３０が撮像した画像にステレオ方式による画像処理を施して施工対象ＯＢＰの位置（三次元位置）を求め、得られた施工対象ＯＢＰの位置を用いて施工対象ＯＢＰの形状情報を生成する。検出処理装置５１は、生成された形状情報を、自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。形状情報を生成する手法は、実施形態１で説明した通りである。
In step S302, the detection processing device 51 performs image processing by a stereo method on the images captured by at least a pair of image pickup devices 30 to obtain the position (three-dimensional position) of the construction target OBP, and obtains the position of the construction target OBP. Is used to generate shape information of the construction target OBP. The detection processing device 51 stores the generated shape information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. The method for generating the shape information is as described in the first embodiment.
ステップＳ３０３において、施工情報生成装置５２は、検出処理装置５１から形状情報を取得し、目標施工情報を生成する。目標施工情報を生成する手法は、実施形態１で説明した通りである。施工情報生成装置５２は、生成された目標施工情報を自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。この場合、生成されたすべての目標施工情報、すなわち油圧ショベル１の施工対象ＯＢＰの目標施工情報及び他の作業機械７０の施工対象ＯＢＰの目標施工情報が、施工情報生成装置５２の記憶部に記憶される。
In step S303, the construction information generation device 52 acquires shape information from the detection processing device 51 and generates target construction information. The method for generating the target construction information is as described in the first embodiment. The construction information generation device 52 stores the generated target construction information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. In this case, all the generated target construction information, that is, the target construction information of the construction target OBP of the hydraulic excavator 1 and the target construction information of the construction target OBP of the other work machine 70 are stored in the storage unit of the construction information generation device 52. Will be done.
ステップＳ３０４において、検出処理装置５１又は施工管理装置５７は、図３に示される通信装置２５を介して管理施設６０の管理装置６１に形状情報を送信する。施工情報生成装置５２又は施工管理装置５７は、他の作業機械７０には目標施工情報を送信する。施工情報生成装置５２又は施工管理装置５７は、管理装置６１に目標施工情報を送信してもよい。ステップＳ３０５において、管理装置６１は、油圧ショベル１から取得した形状情報を記憶部５７Ｍに記憶させる。油圧ショベル１から目標施工情報も取得している場合、管理装置６１は、取得した目標施工情報を記憶部５７Ｍに記憶させる。
In step S304, the detection processing device 51 or the construction management device 57 transmits the shape information to the management device 61 of the management facility 60 via the communication device 25 shown in FIG. The construction information generation device 52 or the construction management device 57 transmits target construction information to the other work machine 70. The construction information generation device 52 or the construction management device 57 may transmit the target construction information to the management device 61. In step S305, the management device 61 stores the shape information acquired from the hydraulic excavator 1 in the storage unit 57M. When the target construction information is also acquired from the hydraulic excavator 1, the management device 61 stores the acquired target construction information in the storage unit 57M.
ステップＳ３０６Ａにおいて、油圧ショベル１は、制御システム５０の施工情報生成装置５２が生成した目標施工情報を用いて施工対象ＯＢＰを施工する。ステップＳ３０６Ｂにおいて、他の作業機械７０は、油圧ショベル１から取得した目標施工情報を用いて施工対象ＯＢＰを施工する。ステップＳ３０６Ａ及びステップＳ３０６Ｂにおいて、油圧ショベル１及び他の作業機械７０は、目標施工情報によって表された、施工対象ＯＢＰの施工時において目標とされる形状に沿って、バケット８の刃先８ＢＴ及び作業機を移動させる。
In step S306A, the hydraulic excavator 1 constructs the construction target OBP using the target construction information generated by the construction information generation device 52 of the control system 50. In step S306B, the other work machine 70 constructs the construction target OBP using the target construction information acquired from the hydraulic excavator 1. In step S306A and step S306B, the hydraulic excavator 1 and the other work machine 70 are the cutting edge 8BT of the bucket 8 and the work machine according to the shape targeted at the time of construction of the construction target OBP represented by the target construction information. To move.
油圧ショベル１及び他の作業機械の少なくとも一方は、作業機制御装置５６を備えずに、目標施工情報と自身の作業機２との位置関係が表示装置５８の画面５８Ｄに施工のガイダンス画像として表示可能なものであってもよい。実施形態２で説明したように、オペレータは、画面５８Ｄを見ながら目標施工情報が示す形状に沿って作業機２を操作する。
At least one of the hydraulic excavator 1 and the other work machine does not have the work machine control device 56, and the positional relationship between the target construction information and its own work machine 2 is displayed as a construction guidance image on the screen 58D of the display device 58. It may be possible. As described in the second embodiment, the operator operates the work machine 2 according to the shape indicated by the target construction information while looking at the screen 58D.
施工が終了したら、ステップＳ３０７において、油圧ショベル１の検出処理装置５１は、施工後の施工対象ＯＢＰを少なくとも一対の撮像装置３０に撮像させ、得られた画像を用いて形状情報を生成する。このとき、検出処理装置５１は、他の作業機械が施工した施工対象ＯＢＰも撮像して形状情報を生成する。検出処理装置５１は、生成された形状情報を自身の記憶部及び施工管理装置５７の記憶部５７Ｍの少なくとも一方に記憶させる。次に、ステップＳ３０８において、検出処理装置５１又は施工管理装置５７は、検出処理装置５１によって生成された施工後の形状情報を管理装置６１に送信する。このとき、検出処理装置５１又は施工管理装置５７は、図３に示される携帯端末装置６４に施工後の形状情報を送信してもよい。施工後の形状情報を取得した管理装置６１は、ステップＳ３０９において記憶部に施工後の形状情報を記憶させる。管理装置６１は、図３に示される携帯端末装置６４に施工後の形状情報を送信してもよい。
When the construction is completed, in step S307, the detection processing device 51 of the hydraulic excavator 1 causes at least a pair of imaging devices 30 to image the construction target OBP after the construction, and generates shape information using the obtained images. At this time, the detection processing device 51 also captures an image of the construction target OBP constructed by another work machine and generates shape information. The detection processing device 51 stores the generated shape information in at least one of its own storage unit and the storage unit 57M of the construction management device 57. Next, in step S308, the detection processing device 51 or the construction management device 57 transmits the post-construction shape information generated by the detection processing device 51 to the management device 61. At this time, the detection processing device 51 or the construction management device 57 may transmit the shape information after construction to the mobile terminal device 64 shown in FIG. The management device 61 that has acquired the shape information after the construction stores the shape information after the construction in the storage unit in step S309. The management device 61 may transmit the shape information after construction to the mobile terminal device 64 shown in FIG.
第１変形例．
図２５は、実施形態３の第１変形例に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。第１変形例は、制御システム５０の施工情報生成装置５２によって生成された目標施工情報が、管理装置６１によって他の作業機械７０に送信される点が実施形態３とは異なる。
First modification example.
FIG. 25 is a flowchart showing a processing example of the shape measurement method and the construction management method according to the first modification of the third embodiment. The first modification is different from the third embodiment in that the target construction information generated by the construction information generation device 52 of the control system 50 is transmitted to another work machine 70 by the management device 61.
本変形例のステップＳ４０１からステップＳ４０５は、実施形態３のステップＳ３０１からステップＳ３０５と同一である。ステップＳ４０６において、管理装置６１は、油圧ショベル１から取得した目標施工情報を、通信装置６２を介して他の作業機械７０に送信する。ステップＳ４０７Ａ、ステップＳ４０７ＢからステップＳ４１０は、実施形態３のステップＳ４０６Ａ、ステップＳ４０６ＢからステップＳ４０９と同一である。本変形例は、管理装置６１と施工現場の作業機械との通信は可能であるが、油圧ショベル１と他の作業機械７０との間の通信が実現できない場合に有効である。
Steps S401 to S405 of this modification are the same as steps S301 to S305 of the third embodiment. In step S406, the management device 61 transmits the target construction information acquired from the hydraulic excavator 1 to the other work machine 70 via the communication device 62. Steps S407A and S407B to S410 are the same as steps S406A and S406B to S409 of the third embodiment. This modification is effective when communication between the management device 61 and the work machine at the construction site is possible, but communication between the hydraulic excavator 1 and the other work machine 70 cannot be realized.
本実施形態及びその変形例は、実施形態２と同様の作用効果を奏する。本実施形態で開示された構成は、以下の実施形態においても適宜適用することができる。
The present embodiment and its modifications have the same effects as those of the second embodiment. The configuration disclosed in this embodiment can be appropriately applied to the following embodiments as well.
実施形態４．
図２６は、実施形態４に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。実施形態４は、制御システム５０を有する油圧ショベルから送信された形状情報を用いて、管理装置６１が目標施工情報を生成する。本実施形態に係る施工管理方法は、少なくとも制御システム５０及び管理装置６１によって実現される。本実施形態において、制御システム５０及び管理装置６１は、施工管理システムとしても機能する。
Embodiment 4.
FIG. 26 is a flowchart showing a processing example of the shape measuring method and the construction management method according to the fourth embodiment. In the fourth embodiment, the management device 61 generates the target construction information by using the shape information transmitted from the hydraulic excavator having the control system 50. The construction management method according to the present embodiment is realized by at least the control system 50 and the management device 61. In the present embodiment, the control system 50 and the management device 61 also function as a construction management system.
実施形態４のステップＳ５０１及びステップＳ５０２は、実施形態３のステップＳ３０１及びステップＳ３０２と同一である。ステップＳ５０３において、油圧ショベル１は、生成された形状情報を、通信装置２５を介して管理装置６１に送信する。ステップＳ５０４において、管理装置６１は、油圧ショベル１から取得した形状情報を記憶部に記憶させる。ステップＳ５０５において、管理装置６１は、ステップＳ５０４出取得した形状情報を用いて目標施工情報を生成し、記憶部に記憶させる。ステップＳ５０６において、管理装置６１は、生成した目標施工情報を、通信装置６２を介して油圧ショベル１に送信する。
Step S501 and step S502 of the fourth embodiment are the same as steps S301 and S302 of the third embodiment. In step S503, the hydraulic excavator 1 transmits the generated shape information to the management device 61 via the communication device 25. In step S504, the management device 61 stores the shape information acquired from the hydraulic excavator 1 in the storage unit. In step S505, the management device 61 generates target construction information using the shape information acquired in step S504 and stores it in the storage unit. In step S506, the management device 61 transmits the generated target construction information to the hydraulic excavator 1 via the communication device 62.
ステップＳ５０７において、油圧ショベル１の施工管理装置５７は、通信装置２５を介して取得した目標施工情報を記憶部５７Ｍに記憶するとともに、通信装置２５を介して他の作業機械７０に送信する。ステップＳ５０８Ａ及びステップＳ５０８Ｂにおいて、油圧ショベル１及び他の作業機械７０は、目標施工情報によって表された、施工対象ＯＢＰの施工時において目標とされる形状に沿って、バケット８の刃先８ＢＴ及び作業機を移動させる。ステップＳ５０９からステップＳ５１１は、実施形態３のステップＳ３０７からステップＳ３０９と同一である。
In step S507, the construction management device 57 of the hydraulic excavator 1 stores the target construction information acquired via the communication device 25 in the storage unit 57M, and transmits the target construction information to the other work machine 70 via the communication device 25. In step S508A and step S508B, the hydraulic excavator 1 and the other work machine 70 are the cutting edge 8BT of the bucket 8 and the work machine according to the shape targeted at the time of construction of the construction target OBP represented by the target construction information. To move. Steps S509 to S511 are the same as steps S307 to S309 of the third embodiment.
第１変形例．
図２７は、実施形態４の第１変形例に係る形状計測方法及び施工管理方法の処理例を示すフローチャートである。第１変形例は、管理装置６１によって生成された目標施工情報が、管理装置６１によって油圧ショベル１及び他の作業機械７０に送信される点が実施形態４とは異なる。
First modification example.
FIG. 27 is a flowchart showing a processing example of the shape measurement method and the construction management method according to the first modification of the fourth embodiment. The first modification is different from the fourth embodiment in that the target construction information generated by the management device 61 is transmitted by the management device 61 to the hydraulic excavator 1 and the other work machine 70.
本変形例のステップＳ６０１からステップＳ６０５は、実施形態４のステップＳ５０１からステップＳ５０５と同一である。ステップＳ６０６において、管理装置６１は、生成した目標施工情報を、通信装置６２を介して油圧ショベル１及び他の作業機械７０に送信する。ステップＳ６０６Ａ、ステップＳ６０６ＢからステップＳ６１０は、実施形態４のステップＳ５０７Ａ、ステップＳ５０７ＢからステップＳ５１１と同一である。本変形例は、管理装置６１と施工現場の作業機械との通信は可能であるが、油圧ショベル１と他の作業機械７０との間の通信が実現できない場合に有効である。
Steps S601 to S605 of this modification are the same as steps S501 to S505 of the fourth embodiment. In step S606, the management device 61 transmits the generated target construction information to the hydraulic excavator 1 and the other work machine 70 via the communication device 62. Steps S606A and steps S606B to S610 are the same as steps S507A and steps S507B to S511 of the fourth embodiment. This modification is effective when communication between the management device 61 and the work machine at the construction site is possible, but communication between the hydraulic excavator 1 and the other work machine 70 cannot be realized.
本実施形態及びその変形例は、実施形態２と同様の作用効果を奏する。さらに、本実施形態及びその変形例は、管理装置６１が目標施工情報を生成することにより、油圧ショベル１の制御システム５０、より詳細には施工情報生成装置５２の負荷を低減することができる。
The present embodiment and its modifications have the same effects as those of the second embodiment. Further, in the present embodiment and its modification, the management device 61 can generate the target construction information, so that the load on the control system 50 of the hydraulic excavator 1, and more specifically, the construction information generation device 52 can be reduced.
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械は、施工対象を施工、例えば掘削及び運搬等を行うことができれば油圧ショベルに限定されず、例えば、ホイールローダー及びブルドーザーのような作業機械であってもよい。
Although the embodiments have been described above, the embodiments are not limited by the contents described above. Further, the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those having a so-called equal range. The components described above can be combined as appropriate. At least one of the various omissions, substitutions and modifications of the components may be made without departing from the gist of the embodiment. The work machine is not limited to the hydraulic excavator as long as the construction target can be constructed, for example, excavation and transportation, and may be a work machine such as a wheel loader and a bulldozer, for example.
