JP2013036243A - Control system for construction machine - Google Patents

Control system for construction machine Download PDF

Info

Publication number
JP2013036243A
JP2013036243A JP2011173558A JP2011173558A JP2013036243A JP 2013036243 A JP2013036243 A JP 2013036243A JP 2011173558 A JP2011173558 A JP 2011173558A JP 2011173558 A JP2011173558 A JP 2011173558A JP 2013036243 A JP2013036243 A JP 2013036243A
Authority
JP
Japan
Prior art keywords
stereo camera
image data
unit
imaging
construction plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011173558A
Other languages
Japanese (ja)
Other versions
JP5802476B2 (en
Inventor
Fumio Otomo
文夫 大友
Kazuki Osaragi
一毅 大佛
Hitoshi Otani
仁志 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2011173558A priority Critical patent/JP5802476B2/en
Publication of JP2013036243A publication Critical patent/JP2013036243A/en
Application granted granted Critical
Publication of JP5802476B2 publication Critical patent/JP5802476B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a control system for a construction machine, which allows for easy understanding of the current working state in comparison with a target construction plan and the position relation of work tools for a working site.SOLUTION: A construction machine is provided with a work tool 7, work arms 4 and 5 which support the work tool and allow the work tool to perform required work, a stereo camera 19 having a first imaging part 21 and a second imaging part 22, a storage part which stores construction plan data, a position measuring part which obtains the positional information of the stereo camera, a three-dimensional display unit, and a control unit. The control unit creates an image data for the construction plan on the basis of the construction plan data and the positional information from the stereo camera 19, superimposes the image data of the construction plan and a current image data captured by the stereo camera 19, and three-dimensionally displays the superimposed image on the three-dimensional display unit.

Description

本発明は、建設機械で土木作業を行う場合の、作業状況の把握を容易にし、作業性を向上させると共に、土木作業の精度を向上させる建設機械制御システムに関するものである。   The present invention relates to a construction machine control system that facilitates grasping of a work situation when performing civil engineering work with a construction machine, improving workability, and improving the accuracy of civil engineering work.

建設機械を用いて土木作業を実行する場合、例えば掘削機により掘削、或は法面の形成等の土木作業を実行する場合、作業者が施工計画データを把握し、概略作業を完了させ、その後実測しつつ掘削、法面を形成し、施工計画データに合致させることが行われている。然し乍ら、作業者自体が土木作業、例えば掘削作業の現況を把握することは難しく、掘削作業をする際の掘削量の大小等、何処の部分をどの程度掘削するか等は、作業者の勘に頼ることが多く、施工精度は作業者の熟練度に左右され、又作業が非能率的であった。   When performing civil engineering work using construction machines, for example, when excavating with a drilling machine or performing civil engineering work such as forming a slope, the worker grasps the construction plan data, completes the rough work, and then Excavations and slopes are formed while actually measuring, and matching with the construction plan data is performed. However, it is difficult for the workers themselves to grasp the current state of civil engineering work, for example, excavation work. The accuracy of construction depends on the skill level of the operator, and the work is inefficient.

尚、特許文献１には、建設機械に搭載されたステレオカメラにて取得された対象物の一対の画像を、画像処理部によりステレオ処理することで３次元画像を構築し、該３次元画像と記憶部に記憶された目標データ画像を比較演算し、実像／仮想画像表示部に３次元画像と目標データ画像とを重合せて表示する構成が開示されている。   In Patent Document 1, a pair of images of an object acquired by a stereo camera mounted on a construction machine is stereo-processed by an image processing unit to construct a three-dimensional image. A configuration is disclosed in which a target data image stored in a storage unit is compared and calculated, and a three-dimensional image and a target data image are superimposed and displayed on a real image / virtual image display unit.

然し乍ら、特許文献１の場合、ステレオカメラにより取得された画像をステレオ処理し、３次元画像として構築した後に実像／仮想画像表示部に立体感を持って表示することを行っている。従って、ステレオ処理する際の演算処理にミスが発生する場合があり、演算処理のミスにより３次元画像を形成できなかったり、演算そのものに時間を要し、３次元画像をリアルタイムで表示できない場合があった。   However, in the case of Patent Document 1, stereo processing is performed on an image acquired by a stereo camera, and a three-dimensional image is constructed and then displayed on a real image / virtual image display unit with a stereoscopic effect. Accordingly, there may be a case where a mistake occurs in the arithmetic processing when performing stereo processing, and a three-dimensional image cannot be formed due to a mistake in the arithmetic processing, or the calculation itself takes time, and the three-dimensional image cannot be displayed in real time. there were.

特開２００２−３５２２２４号公報JP 2002-352224 A

本発明は斯かる実情に鑑み、施工計画に対する現況の作業状態や、作業部位に対する作業具の位置関係を容易に把握可能な建設機械制御システムを提供するものである。   In view of such a situation, the present invention provides a construction machine control system capable of easily grasping a current working state with respect to a construction plan and a positional relationship of a work tool with respect to a work part.

本発明は、建設機械が作業具と、該作業具を支持し、該作業具に所要の作動をさせる作業アームと、第１の撮像部及び第２の撮像部を有するステレオカメラと、施工計画データを記憶する記憶部と、前記ステレオカメラの位置情報を取得する位置測定部と、３次元表示装置と、制御装置とを具備し、該制御装置は前記施工計画データと前記ステレオカメラの位置情報に基づき施工計画画像データを作成し、該施工計画画像データと前記ステレオカメラで撮像された現況画像データを重合せ、重合せた合成画像を前記３次元表示装置に３次元表示させる建設機械制御システムに係るものである。   The present invention relates to a work tool, a work arm that supports the work tool and causes the work tool to perform a required operation, a stereo camera having a first imaging unit and a second imaging unit, and a construction plan. A storage unit for storing data; a position measurement unit for acquiring position information of the stereo camera; a three-dimensional display device; and a control device. The control device includes the construction plan data and the position information of the stereo camera. A construction machine control system that creates construction plan image data based on the above, superimposes the construction plan image data and the current image data captured by the stereo camera, and causes the three-dimensional display to display the superposed composite image on the three-dimensional display device It is related to.

又本発明は、前記合成画像は、前記現況画像データと前記施工計画画像データのいずれか一方が半透明となっている建設機械制御システムに係るものである。   Further, the present invention relates to a construction machine control system in which the composite image is translucent in either one of the current state image data and the construction plan image data.

又本発明は、前記３次元表示装置は前記ステレオカメラにて撮像された２つの現況画像データを基に前記合成画像の３次元表示が可能な３次元ディスプレイである建設機械制御システムに係るものである。   The present invention also relates to a construction machine control system in which the three-dimensional display device is a three-dimensional display capable of three-dimensional display of the composite image based on two current image data captured by the stereo camera. is there.

又本発明は、前記ステレオカメラの撮像位置を変更可能な撮像位置変更手段を更に有する建設機械制御システムに係るものである。   The present invention also relates to a construction machine control system further comprising an imaging position changing means capable of changing the imaging position of the stereo camera.

又本発明は、前記ステレオカメラの撮像方向を変更可能な撮像方向変更手段を更に有する建設機械制御システムに係るものである。   The present invention also relates to a construction machine control system further comprising an imaging direction changing means capable of changing the imaging direction of the stereo camera.

更に又本発明は、前記ステレオカメラにより撮像される前記現況画像データの表示範囲を変更する表示範囲変更手段を更に有する建設機械制御システムに係るものである。   Furthermore, the present invention relates to a construction machine control system further comprising display range changing means for changing the display range of the current image data captured by the stereo camera.

本発明によれば、建設機械が作業具と、該作業具を支持し、該作業具に所要の作動をさせる作業アームと、第１の撮像部及び第２の撮像部を有するステレオカメラと、施工計画データを記憶する記憶部と、前記ステレオカメラの位置情報を取得する位置測定部と、３次元表示装置と、制御装置とを具備し、該制御装置は前記施工計画データと前記ステレオカメラの位置情報に基づき施工計画画像データを作成し、該施工計画画像データと前記ステレオカメラで撮像された現況画像データを重合せ、重合せた合成画像を前記３次元表示装置に３次元表示させるので、前記制御装置内で３次元画像を構築する必要がなく、演算処理の軽量化を図りステレオ演算処理のミスを防止できると共に、施工計画に対する現況の作業状態や進捗状態、作業部位に対する前記作業具の位置関係等を直感的に把握することができ、作業性を向上させることができる。   According to the present invention, a construction machine has a work tool, a work arm that supports the work tool and causes the work tool to perform a required operation, a stereo camera having a first imaging unit and a second imaging unit, A storage unit that stores construction plan data; a position measurement unit that acquires position information of the stereo camera; a three-dimensional display device; and a control device, the control device including the construction plan data and the stereo camera Construction plan image data is created based on the position information, the construction plan image data and the current image data captured by the stereo camera are superposed, and the superposed composite image is displayed three-dimensionally on the three-dimensional display device. There is no need to construct a three-dimensional image in the control device, the calculation process can be reduced in weight, and errors in the stereo calculation process can be prevented. Intuitively can grasp the positional relationship of the work implement relative, it is possible to improve the workability.

又本発明によれば、前記合成画像は、前記現況画像データと前記施工計画画像データのいずれか一方が半透明となっているので、施工計画に対する現況の作業状態、進捗状態を直感的に把握できる。   Further, according to the present invention, since either one of the current state image data and the construction plan image data is translucent, the composite image intuitively grasps the current work state and progress state with respect to the construction plan. it can.

又本発明によれば、前記３次元表示装置は前記ステレオカメラにて撮像された２つの現況画像データを基に前記合成画像の３次元表示が可能な３次元ディスプレイであるので、前記制御装置内で画像処理を行い３次元画像を構築する必要がなく、演算処理の軽量化を図ることで前記制御装置の負担を軽減でき、ステレオ演算処理のミスを防止することができる。   According to the present invention, the 3D display device is a 3D display capable of 3D display of the composite image based on two current image data captured by the stereo camera. Thus, it is not necessary to construct a three-dimensional image by performing image processing, and by reducing the weight of arithmetic processing, the burden on the control device can be reduced, and errors in stereo arithmetic processing can be prevented.

又本発明によれば、前記ステレオカメラの撮像位置を変更可能な撮像位置変更手段を更に有するので、作業者からは死角となっている位置でも前記ステレオカメラにて撮像することができ、より作業性を向上させることができる。   In addition, according to the present invention, since the image pickup position changing means that can change the image pickup position of the stereo camera is further provided, the stereo camera can pick up an image even at a blind spot from the operator. Can be improved.

又本発明によれば、前記ステレオカメラの撮像方向を変更可能な撮像方向変更手段を更に有するので、作業者からは死角となっている位置でも前記ステレオカメラにて撮像することができ、より作業性を向上させることができる。   In addition, according to the present invention, since the imaging direction changing means that can change the imaging direction of the stereo camera is further provided, it is possible to take an image with the stereo camera even at a blind spot from the operator. Can be improved.

更に又本発明によれば、前記ステレオカメラにより撮像される前記現況画像データの表示範囲を変更する表示範囲変更手段を更に有するので、カメラの撮像方向を変更する機構を設けることなく該機構を設けた場合と同様の効果を得ることができ、作業性が向上すると共にコストの低減を図ることができるという優れた効果を発揮する。   Furthermore, according to the present invention, since the display range changing means for changing the display range of the current image data captured by the stereo camera is further provided, the mechanism is provided without providing a mechanism for changing the imaging direction of the camera. The same effect as in the case of the case can be obtained, and the excellent workability can be achieved and the cost can be reduced.

本発明が掘削機に適用された実施例を示す斜視図である。It is a perspective view which shows the Example by which this invention was applied to the excavator. 本実施例の掘削機の運転室の内部を示す説明図である。It is explanatory drawing which shows the inside of the cab of the excavator of a present Example. 本実施例のステレオカメラが基準位置と変更位置にある場合を示す概略側面図である。It is a schematic side view which shows the case where the stereo camera of a present Example exists in a reference position and a change position. 本実施例の制御装置とカメラ部とを示すブロック図である。It is a block diagram which shows the control apparatus and camera part of a present Example. 本実施例の合成画像の一例を示す図である。It is a figure which shows an example of the synthesized image of a present Example. 本実施例の作用を説明する説明図である。It is explanatory drawing explaining the effect | action of a present Example.

以下、図面を参照しつつ本発明の実施例を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明が建設機械である掘削機に実施された場合を示している。   FIG. 1 shows a case where the present invention is applied to an excavator that is a construction machine.

走行駆動体１に機体２が設けられ、該機体２は前記走行駆動体１に対して鉛直軸心を中心に旋回可能となっている。前記機体２は運転室３を有し、該運転室３は前記機体２の旋回中心からオフセットされており、前記機体２の旋回中心にはブーム４が起伏可能に設けられている。該ブーム４の起伏中心（回転中心）は、前記鉛直軸心上にあると共に、該鉛直軸心と直交する水平軸心を中心に回転可能となっている。前記ブーム４の先端にはアーム５が軸６を中心に回転可能に設けられ、該アーム５の先端には作業具であるバケット７が軸（図示せず）を中心に回転自在に設けられている。   A traveling body 1 is provided with a body 2, and the body 2 is capable of turning with respect to the traveling drive body 1 about a vertical axis. The airframe 2 has a cab 3, which is offset from the turning center of the airframe 2, and a boom 4 is provided at the turning center of the airframe 2 so as to be raised and lowered. The undulation center (rotation center) of the boom 4 is on the vertical axis and is rotatable about a horizontal axis perpendicular to the vertical axis. An arm 5 is provided at the tip of the boom 4 so as to be rotatable around a shaft 6, and a bucket 7 as a work tool is provided at the tip of the arm 5 so as to be rotatable around a shaft (not shown). Yes.

前記ブーム４、前記アーム５、前記バケット７は同一平面（以下回転平面と称す）内で回転する様になっており、前記ブーム４はブームシリンダ９によって起伏され、前記アーム５はアームシリンダ１１によって回転され、前記バケット７はバケットシリンダ１２によって回転される様になっている。従って、前記ブーム４の前記機体２に対する回転、前記アーム５の前記ブーム４に対する回転、前記バケット７の前記アーム５に対する回転の協働で、前記バケット７は前後動、上下動、掬上げ等種々の動作が可能であるが、前記バケット７の動作は前記回転平面内で行われる。   The boom 4, the arm 5, and the bucket 7 rotate in the same plane (hereinafter referred to as a rotation plane), the boom 4 is raised and lowered by a boom cylinder 9, and the arm 5 is moved by an arm cylinder 11. The bucket 7 is rotated by a bucket cylinder 12. Accordingly, the bucket 7 can be moved back and forth, moved up and down, raised, etc. by cooperation of rotation of the boom 4 with respect to the machine body 2, rotation of the arm 5 with respect to the boom 4, and rotation of the bucket 7 with respect to the arm 5. However, the operation of the bucket 7 is performed in the rotation plane.

ここで、前記ブーム４、前記アーム５は屈曲可能に連結され、作業アームを構成し、該作業アームは前記バケット７を支持し、該バケット７に所要の動作をさせる。尚、上記掘削機では前記作業アームは前記ブーム４、前記アーム５の２節を屈曲可能に連結した構成となっているが、更に３節で屈曲可能に構成されてもよい。   Here, the boom 4 and the arm 5 are connected so as to be bendable to constitute a working arm, and the working arm supports the bucket 7 and causes the bucket 7 to perform a required operation. In the excavator, the working arm has a configuration in which the two nodes of the boom 4 and the arm 5 are connected so as to be bendable.

前記機体２には第１ＧＰＳ装置１３、第２ＧＰＳ装置１４が所定の位置、好ましくは前記機体２の旋回中心を通過する直線に沿って設けられる。尚、ＧＰＳ装置は３以上設けられてもよい。前記第１ＧＰＳ装置１３、前記第２ＧＰＳ装置１４が設けられることで、前記機体２の絶対座標及び該機体２の向き（方位）が測定される。   The airframe 2 is provided with a first GPS device 13 and a second GPS device 14 along predetermined lines, preferably along a straight line passing through the turning center of the airframe 2. Note that three or more GPS devices may be provided. By providing the first GPS device 13 and the second GPS device 14, the absolute coordinates of the airframe 2 and the orientation (azimuth) of the airframe 2 are measured.

又、前記機体２には水平２方向の傾斜を検知する２軸傾斜センサ１５（図４参照）が設けられ、前記ブーム４にブーム傾斜センサ１６（図４参照）、前記アーム５にアーム傾斜センサ１７（図４参照）、前記バケット７にバケット傾斜センサ１８（図４参照）がそれぞれ設けられている。又、図示しないが、前記機体２の旋回角を検出する旋回角検出器が設けられる。尚、前記ブーム傾斜センサ１６、前記アーム傾斜センサ１７、前記バケット傾斜センサ１８は、それぞれ回転角を検出する回転角検出器としてもよい。   Further, the airframe 2 is provided with a biaxial tilt sensor 15 (see FIG. 4) for detecting tilt in two horizontal directions, a boom tilt sensor 16 (see FIG. 4) on the boom 4, and an arm tilt sensor on the arm 5. 17 (see FIG. 4), and the bucket 7 is provided with a bucket inclination sensor 18 (see FIG. 4). Although not shown, a turning angle detector for detecting the turning angle of the airframe 2 is provided. The boom tilt sensor 16, the arm tilt sensor 17, and the bucket tilt sensor 18 may each be a rotation angle detector that detects a rotation angle.

前記第１ＧＰＳ装置１３、前記第２ＧＰＳ装置１４は前記機体２の機械中心に対して既知の位置に設けられている。機械中心としては、例えば前記ブーム４の回転中心が採用される。又、前記ブーム４の長さ、前記アーム５の長さ、前記バケット７の回転中心から先端迄の長さ及び該バケット７の回転中心から該バケット７の中心位置迄の距離はそれぞれ既知となっている。   The first GPS device 13 and the second GPS device 14 are provided at known positions with respect to the machine center of the machine body 2. As the machine center, for example, the rotation center of the boom 4 is employed. The length of the boom 4, the length of the arm 5, the length from the rotation center of the bucket 7 to the tip, and the distance from the rotation center of the bucket 7 to the center position of the bucket 7 are known. ing.

前記バケット７に対向する様、図１では前記運転室３の上面の所定位置に上方に向って延出し、前方に向って湾曲するレール２０が設けられ、該レール２０に基準光軸が前記回転平面と平行なステレオカメラ１９が設けられる。該ステレオカメラ１９はスライダ（図示せず）を介して前記レール２０に摺動自在に設けられ、スライダ駆動モータ（図示せず）によって前記レール２０に沿って移動可能であり、前記ステレオカメラ１９を移動させることで該ステレオカメラ１９により撮像位置（視点）を変更できる様になっている。尚、前記レール２０、前記スライダ、前記スライダ駆動モータ等により撮像位置変更手段が構成される。   In FIG. 1, a rail 20 that extends upward at a predetermined position on the upper surface of the cab 3 and curves forward is provided so as to face the bucket 7, and the reference optical axis rotates on the rail 20. A stereo camera 19 parallel to the plane is provided. The stereo camera 19 is slidably provided on the rail 20 via a slider (not shown), and can be moved along the rail 20 by a slider drive motor (not shown). The imaging position (viewpoint) can be changed by the stereo camera 19 by being moved. The rail 20, the slider, the slider drive motor, etc. constitute imaging position changing means.

又、前記ステレオカメラ１９は、ピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）、ヨウ（ＹＡＷ）の３軸について、前記スライダに回転自在に支持されており、各軸に対して前記ステレオカメラ１９を回転させる為のモータ、例えばサーボモータやステッピングモータ等のピッチモータ（図示せず）、ロールモータ（図示せず）、ヨウモータ（図示せず）が設けられ、前記ピッチモータ、前記ロールモータ、前記ヨウモータにより前記ステレオカメラ１９の撮像方向（視野の方向）を変更する撮像方向変更手段が構成される。   The stereo camera 19 is rotatably supported by the slider with respect to three axes of pitch (PITCH), roll (ROLL), and yaw (YAW), and the stereo camera 19 is rotated with respect to each axis. Motor, for example, a pitch motor (not shown) such as a servo motor or a stepping motor, a roll motor (not shown), and a yaw motor (not shown) are provided, and the pitch motor, the roll motor, and the yaw motor An imaging direction changing unit that changes the imaging direction (viewing direction) of the stereo camera 19 is configured.

尚、前記ステレオカメラ１９が前記レール２０の基端部に位置する場合を前記ステレオカメラ１９の基準位置とし、前記レール２０の先端部に位置する場合を前記ステレオカメラ１９の変更位置とし、該ステレオカメラ１９が基準位置にある場合の該ステレオカメラ１９と前記機体２の機体中心迄の距離、前記ステレオカメラ１９が変更位置にある場合の該ステレオカメラ１９と前記機体２の機体中心迄の距離は、それぞれ既知となっている。又、前記ステレオカメラ１９の基準位置、変更位置での撮像方向（水平に対する角度）も既知となっている。尚、変更後の位置をリニアエンコーダ等で検出してもよい。   When the stereo camera 19 is located at the base end of the rail 20, the stereo camera 19 is used as a reference position, and when the stereo camera 19 is located at the front end of the rail 20, the change position of the stereo camera 19 is used. The distance between the stereo camera 19 when the camera 19 is at the reference position and the center of the machine 2 and the distance between the stereo camera 19 and the machine center when the stereo camera 19 is at the change position , Each is known. The imaging direction (angle with respect to the horizontal) at the reference position and the change position of the stereo camera 19 is also known. The changed position may be detected by a linear encoder or the like.

前記ステレオカメラ１９は、左右に配置された第１撮像部２１、第２撮像部２２を有している。前記第１撮像部２１及び前記第２撮像部２２は、デジタル画像を取得し、それぞれ多数の画素の集合体であるＣＣＤ、ＣＭＯＳセンサ等の撮像素子を有するデジタルカメラであり、前記撮像素子にはそれぞれ座標系が設定され、各画素毎に位置が特定できる様になっており、前記座標系の原点は、それぞれ前記第１撮像部２１、前記第２撮像部２２の光軸に合致する様に設定されている。   The stereo camera 19 has a first imaging unit 21 and a second imaging unit 22 arranged on the left and right. The first imaging unit 21 and the second imaging unit 22 are digital cameras that acquire digital images and each have an imaging element such as a CCD or CMOS sensor that is an aggregate of a large number of pixels. Each coordinate system is set so that the position can be specified for each pixel, and the origin of the coordinate system matches the optical axes of the first imaging unit 21 and the second imaging unit 22, respectively. Is set.

前記第１撮像部２１と前記第２撮像部２２との距離（両光軸間の距離）は既知であり、前記第１撮像部２１又は前記第２撮像部２２のいずれかの光軸が基準光軸と設定され、例えば前記第１撮像部２１の光軸が基準光軸と設定される。該基準光軸は前記回転平面と平行であると共に該回転平面との距離は既知となっている。   The distance between the first imaging unit 21 and the second imaging unit 22 (the distance between both optical axes) is known, and the optical axis of either the first imaging unit 21 or the second imaging unit 22 is a reference. For example, the optical axis of the first imaging unit 21 is set as a reference optical axis. The reference optical axis is parallel to the rotation plane and the distance from the rotation plane is known.

前記ブームシリンダ９の伸縮、前記アームシリンダ１１の伸縮、前記バケットシリンダ１２の伸縮の協働により、前記バケット７を上下移動、前後移動、更に回転させ、所望の掘削作業が行える。   By the cooperation of expansion and contraction of the boom cylinder 9, expansion and contraction of the arm cylinder 11, and expansion and contraction of the bucket cylinder 12, the bucket 7 can be moved up and down, moved back and forth, and further rotated to perform desired excavation work.

図２は、前記機体２の前記運転室３内に於ける作業者の視界を示している。   FIG. 2 shows the field of view of the operator in the cab 3 of the machine body 2.

該運転室３は前記機体２の旋回中心からオフセットされており、作業者は前記バケット７を後方斜めから目視する様になっている。又、作業者の視界を遮らない位置、例えば前記運転室３の前面に設けられた窓部２３の下部には、肉眼で、或は専用の３Ｄメガネによりステレオ画像を立体視させることが可能な３次元ディスプレイ等の３次元表示装置２５が設けられている。   The operator's cab 3 is offset from the turning center of the airframe 2 so that the operator can visually observe the bucket 7 from the rear and obliquely. Further, a stereo image can be stereoscopically viewed with the naked eye or with dedicated 3D glasses at a position that does not block the operator's field of view, for example, the lower portion of the window portion 23 provided in front of the operator cab 3. A three-dimensional display device 25 such as a three-dimensional display is provided.

又、図３は前記ステレオカメラ１９が基準位置（図中、実線で示される）、変更位置（図中、２点鎖線で示される）にある場合の該ステレオカメラ１９の撮像範囲を示しており、該ステレオカメラ１９を前記レール２０に沿って変更位置迄移動させることで、基準位置からは撮像できなかった死角部２４の撮像を行うことができる。   FIG. 3 shows an imaging range of the stereo camera 19 when the stereo camera 19 is at a reference position (indicated by a solid line in the figure) and a change position (indicated by a two-dot chain line in the figure). By moving the stereo camera 19 along the rail 20 to the change position, it is possible to image the blind spot 24 that could not be imaged from the reference position.

次に、図４を参照して、建設機械制御システムに於ける制御装置２６及びカメラ部２７について説明する。   Next, the control device 26 and the camera unit 27 in the construction machine control system will be described with reference to FIG.

前記制御装置２６は、主に機体姿勢センサ部２８、主演算部（主ＣＰＵ）２９、記憶部３１、画像合成部３２、操作部３３、前記３次元表示装置２５及び第１通信部３４から構成される。   The control device 26 mainly includes a body posture sensor unit 28, a main calculation unit (main CPU) 29, a storage unit 31, an image composition unit 32, an operation unit 33, the three-dimensional display device 25, and a first communication unit 34. Is done.

更に、前記機体姿勢センサ部２８は前記第１ＧＰＳ装置１３、前記第２ＧＰＳ装置１４、前記２軸傾斜センサ１５、前記ブーム傾斜センサ１６、前記アーム傾斜センサ１７、前記バケット傾斜センサ１８とを有し、前記機体姿勢センサ部２８は前記ステレオカメラ１９の位置情報を取得する位置測定部を構成している。   Further, the airframe attitude sensor unit 28 includes the first GPS device 13, the second GPS device 14, the biaxial tilt sensor 15, the boom tilt sensor 16, the arm tilt sensor 17, and the bucket tilt sensor 18. The body posture sensor unit 28 constitutes a position measurement unit that acquires position information of the stereo camera 19.

前記記憶部３１は、データ格納部３６とプログラム格納部３７を有し、前記データ格納部３６には土木作業を行う為の施工計画の数値データ、３次元画像化した施工計画画像データ、前記第１撮像部２１、前記第２撮像部２２で取得した現況画像データ、施工計画画像データとの比較により施工計画データと土木作業後の施工状態の差異を確認する為の土木作業後の画像データ等のデータが格納される。   The storage unit 31 includes a data storage unit 36 and a program storage unit 37. The data storage unit 36 includes numerical data of construction plans for performing civil engineering work, three-dimensional construction plan image data, the first Image data after civil engineering work for confirming the difference between the construction plan data and the construction state after the civil engineering work by comparing with the current image data acquired by the first imaging part 21 and the second imaging part 22 and the construction plan image data, etc. Is stored.

又、前記プログラム格納部３７には前記ステレオカメラ１９の作動、前記機体姿勢センサ部２８からの信号の取得、前記３次元表示装置２５への画像の表示を制御するシーケンスプログラム、前記レール２０に沿って移動し、３軸に対して回転する前記ステレオカメラ１９の駆動を制御する駆動制御プログラム、前記第１撮像部２１と前記第２撮像部２２とで取得した画像と施工計画画像データとを合成する画像合成プログラム、合成された画像データを前記３次元表示装置２５に３次元表示させる画像表示プログラム、前記カメラ部２７へのカメラ駆動制御コマンドの送信及び該カメラ部２７から画像データの受信を行う通信プログラム等のプログラムが格納される。   The program storage unit 37 includes a sequence program for controlling the operation of the stereo camera 19, acquisition of signals from the body posture sensor unit 28, and display of images on the three-dimensional display device 25, along the rail 20. Drive control program for controlling the drive of the stereo camera 19 that rotates and rotates about three axes, and the images acquired by the first imaging unit 21 and the second imaging unit 22 are combined with the construction plan image data. An image synthesizing program, an image display program for three-dimensionally displaying the synthesized image data on the three-dimensional display device 25, transmission of a camera drive control command to the camera unit 27, and reception of image data from the camera unit 27 A program such as a communication program is stored.

前記画像合成部３２は、施工計画の数値データから、前記ステレオカメラ１９の位置、光軸の方向に基づき、該ステレオカメラ１９で撮像した現況画像データと同等の施工計画画像データを作成し、作成した施工計画画像データに現況画像データを半透明な状態で重合せる画像合成処理の制御を行う。尚、画像合成処理は、前記現況画像データに前記施工計画画像データを半透明な状態で重合せてもよいのは言う迄もない。   The image composition unit 32 creates construction plan image data equivalent to the current image data captured by the stereo camera 19 based on the position of the stereo camera 19 and the direction of the optical axis from the numerical data of the construction plan. It controls the image composition processing that superimposes the existing image data in a translucent state on the completed construction plan image data. Needless to say, the image composition processing may superimpose the construction plan image data on the current image data in a translucent state.

前記画像合成部３２により合成された合成画像は、前記３次元表示装置２５に例えば図５に示される様な合成画像３８として３次元表示される。図５中では、ハッチング部分が半透明の現況画像データ３９であり、白抜き部分が施工計画画像データ４１となっており、該施工計画画像データ４１には、作業状態の把握が容易になる様、所定の間隔で格子状に基準線４２が形成されている。   The synthesized image synthesized by the image synthesizing unit 32 is three-dimensionally displayed on the three-dimensional display device 25 as a synthesized image 38 as shown in FIG. In FIG. 5, the hatched portion is the current state image data 39 that is translucent, and the white portion is the construction plan image data 41, and the construction plan image data 41 makes it easy to grasp the work state. The reference lines 42 are formed in a grid at predetermined intervals.

又、前記操作部３３は前記ステレオカメラ１９の撮像開始、停止指示を入力する為の作動スイッチ（図示せず）と、前記ステレオカメラ１９の撮像位置を変更する為の位置変更スイッチ（図示せず）と、ピッチ、ロール、ヨウの３軸に対して前記ステレオカメラ１９を回転させる為のジョイスティック（図示せず）を有し、前記作動スイッチ、前記位置変更スイッチ、前記ジョイスティックを操作し、前記ステレオカメラ１９への駆動指示を入力することでカメラ駆動制御コマンドが生成される様になっている。尚、ジョイスティックに位置変更スイッチを設けてもよい。   The operation unit 33 includes an operation switch (not shown) for inputting an imaging start / stop instruction for the stereo camera 19 and a position change switch (not shown) for changing the imaging position of the stereo camera 19. ), And a joystick (not shown) for rotating the stereo camera 19 with respect to the three axes of pitch, roll, and yaw, and operating the operation switch, the position change switch, and the joystick, A camera drive control command is generated by inputting a drive instruction to the camera 19. Note that a position change switch may be provided on the joystick.

前記第１通信部３４は、第１情報通信部４３と第１コマンド通信部４４とを有し、前記第１情報通信部４３は前記ステレオカメラ１９にて撮像された現況画像データ３９を受信し、前記第１コマンド通信部４４は前記操作部３３より入力された指示により前記主演算部２９にて生成されたカメラ駆動制御コマンドを前記カメラ部２７へ送信する様になっている。   The first communication unit 34 includes a first information communication unit 43 and a first command communication unit 44, and the first information communication unit 43 receives current image data 39 captured by the stereo camera 19. The first command communication unit 44 is configured to transmit a camera drive control command generated by the main calculation unit 29 to the camera unit 27 according to an instruction input from the operation unit 33.

又、前記３次元表示装置２５は第１表示部２５ａと第２表示部２５ｂとを有しており、前記第１撮像部２１と前記第２撮像部２２で撮像された２つの画像を前記第１表示部２５ａと前記第２表示部２５ｂとにそれぞれ個別に表示することで、肉眼或は３Ｄメガネ等を介して前記現況画像データ３９が立体視できる様になっている。   The three-dimensional display device 25 includes a first display unit 25a and a second display unit 25b, and two images captured by the first imaging unit 21 and the second imaging unit 22 are displayed on the first display unit 25a. The current image data 39 can be stereoscopically viewed through the naked eye or 3D glasses by individually displaying on the first display unit 25a and the second display unit 25b.

前記カメラ部２７は、主に前記ステレオカメラ１９、副演算部（副ＣＰＵ）４５、カメラ駆動部４６、第２通信部４７から構成される。   The camera unit 27 mainly includes the stereo camera 19, a sub operation unit (sub CPU) 45, a camera drive unit 46, and a second communication unit 47.

前記カメラ駆動部４６は、移動駆動部４８と首振り駆動部４９とを有している。前記移動駆動部４８は、前記操作部３３の位置変更スイッチの入力により生成されたカメラ駆動制御コマンドに基づき、前記ステレオカメラ１９を前記レール２０に沿って移動させる。前記首振り駆動部４９は、前記操作部３３のジョイスティックの操作により生成されたカメラ駆動制御コマンドに基づき、３軸に対して前記ステレオカメラ１９を回転させる。   The camera drive unit 46 includes a movement drive unit 48 and a swing drive unit 49. The movement drive unit 48 moves the stereo camera 19 along the rail 20 based on the camera drive control command generated by the input of the position change switch of the operation unit 33. The swing drive unit 49 rotates the stereo camera 19 about three axes based on a camera drive control command generated by operating the joystick of the operation unit 33.

又、前記第２通信部４７は、第２情報通信部５１と第２コマンド通信部５２とを有し、前記第２情報通信部５１は前記ステレオカメラ１９により撮像された前記現況画像データ３９を前記制御装置２６へ送信し、前記第２コマンド通信部５２は、前記第１コマンド通信部４４より送信されたカメラ駆動制御コマンドを受信する様になっており、カメラ駆動制御コマンドに基づいて前記ステレオカメラ１９が所定の動作を行う。   The second communication unit 47 includes a second information communication unit 51 and a second command communication unit 52, and the second information communication unit 51 stores the current image data 39 captured by the stereo camera 19. The second command communication section 52 receives the camera drive control command transmitted from the first command communication section 44 and transmits the stereo command based on the camera drive control command. The camera 19 performs a predetermined operation.

次に、図６を参照して本発明の実施例に係る作用について説明する。   Next, the operation according to the embodiment of the present invention will be described with reference to FIG.

前記操作部３３により、前記制御装置２６に撮像の開始指示が入力されると、前記第１コマンド通信部４４を介して前記第２コマンド通信部５２へとカメラ駆動制御コマンドが送信される。該第２コマンド通信部５２に受信されたカメラ駆動制御コマンドに基づき、前記ステレオカメラ１９から画像がリアルタイムで取得され、取得された画像が前記現況画像データ３９として前記第２情報通信部５１を介して前記第１情報通信部４３に送信され、該第１情報通信部４３に受信された前記現況画像データ３９が前記データ格納部３６に格納される。   When an imaging start instruction is input to the control device 26 by the operation unit 33, a camera drive control command is transmitted to the second command communication unit 52 via the first command communication unit 44. Based on the camera drive control command received by the second command communication unit 52, an image is acquired from the stereo camera 19 in real time, and the acquired image is obtained as the current image data 39 via the second information communication unit 51. The current image data 39 transmitted to the first information communication unit 43 and received by the first information communication unit 43 is stored in the data storage unit 36.

又、前記第１ＧＰＳ装置１３、前記第２ＧＰＳ装置１４の２つのＧＰＳ装置から前記機体２の絶対座標及び該機体２の向き（方位）が得られ、該機体２の絶対座標及び向きを基に前記ステレオカメラ１９の位置情報が取得される。更に、前記２軸傾斜センサ１５により前記機体２の傾斜及び傾斜の向きが検出され、該機体２の傾斜及び傾斜の向きに基づき前記ステレオカメラ１９の傾斜及び傾斜の向きが取得される。   Also, the absolute coordinates of the airframe 2 and the orientation (orientation) of the airframe 2 are obtained from the two GPS devices, the first GPS device 13 and the second GPS device 14, and the above described based on the absolute coordinates and orientation of the airframe 2. The position information of the stereo camera 19 is acquired. Furthermore, the tilt and the tilt direction of the airframe 2 are detected by the biaxial tilt sensor 15, and the tilt and the tilt direction of the stereo camera 19 are acquired based on the tilt and the tilt direction of the airframe 2.

前記データ格納部３６には、前記施工計画画像データ４１、例えば作業で得るべき最終の状態が３次元画像のデータとして格納されており、又該３次元画像のデータは位置情報を含んでいる。得られた前記ステレオカメラ１９の位置情報に基づき、該ステレオカメラ１９の視点、視方向が決定され、該視点、視方向に基づき、該ステレオカメラ１９に撮像された前記現況画像データ３９と同等の前記施工計画画像データ４１が作成される。   In the data storage unit 36, the construction plan image data 41, for example, a final state to be obtained by work is stored as data of a three-dimensional image, and the data of the three-dimensional image includes position information. Based on the obtained position information of the stereo camera 19, the viewpoint and viewing direction of the stereo camera 19 are determined, and based on the viewpoint and viewing direction, the same as the current image data 39 captured by the stereo camera 19. The construction plan image data 41 is created.

次に、前記画像合成部３２により前記現況画像データ３９を半透明化し、半透明化した該現況画像データ３９を作成された前記施工計画画像データ４１に重合せ、前記３次元表示装置２５に３次元表示することで、前記施工計画画像データ４１に対する作業の進捗状態を目視にて容易に判断することができる。   Next, the current image data 39 is made translucent by the image compositing unit 32, and the translucent current image data 39 is superposed on the created construction plan image data 41, and the 3D display device 25 3 By displaying the dimensions, it is possible to easily determine visually the progress of the work on the construction plan image data 41.

又、前記バケット７の姿勢、位置も、前記アーム傾斜センサ１７、前記バケット傾斜センサ１８の検出結果に基づき演算により求めることができるので、前記バケット７を示す像も併せて表示することで、現況に対する該バケット７の位置、姿勢、或は前記施工計画画像データ４１に対する前記バケット７の位置、姿勢が目視で判断できる。   Further, since the posture and position of the bucket 7 can also be obtained by calculation based on the detection results of the arm inclination sensor 17 and the bucket inclination sensor 18, an image showing the bucket 7 can be displayed together with the current state. The position and posture of the bucket 7 with respect to the position, or the position and posture of the bucket 7 with respect to the construction plan image data 41 can be visually determined.

上記処理中、前記操作部３３より位置変更スイッチを入力することで、カメラ駆動制御コマンドが生成され、該カメラ駆動制御コマンドに基づいて前記移動駆動部４８が前記ステレオカメラ１９を前記レール２０に沿って基準位置から変更位置へと移動させることができ、前記ステレオカメラ１９の撮像範囲を前記機体２の前方から手前へと移動させることができる。即ち、図５に於ける前記現況画像データ３９の位置を紙面に対して下方に移動させることができ、作業者が前記運転席３中から見ることのできない前記死角部２４であっても、変更位置からの撮像により前記死角部２４の前記現況画像データ３９を取得でき、前記合成画像３８を介して前記死角部２４に於ける前記施工計画画像データ４１に対する作業状態、進捗状態を目視で判断できる。   During the processing, a camera drive control command is generated by inputting a position change switch from the operation unit 33, and the movement drive unit 48 moves the stereo camera 19 along the rail 20 based on the camera drive control command. Thus, the image pickup range of the stereo camera 19 can be moved from the front of the machine body 2 to the front. That is, the position of the current image data 39 in FIG. 5 can be moved downward with respect to the paper surface, and even the blind spot 24 that cannot be viewed from the driver's seat 3 by the operator is changed. The present state image data 39 of the blind spot 24 can be acquired by imaging from the position, and the working state and the progress state with respect to the construction plan image data 41 in the blind spot 24 can be visually determined via the composite image 38. .

又、上記処理中、前記ステレオカメラ１９の撮像方向を変更する為、作業者が前記操作部３３のジョイスティックを操作した際には、ジョイスティックの操作に応じて前記主演算部２９にて前記ステレオカメラ１９の回転量及び回転方向が演算され、演算結果がカメラ駆動制御コマンドとして前記第１コマンド通信部４４から送信され、前記第２コマンド通信部５２を介して前記首振り駆動部４９へと送られる。   Further, during the above process, when the operator operates the joystick of the operation unit 33 in order to change the imaging direction of the stereo camera 19, the stereo camera is operated by the main calculation unit 29 according to the operation of the joystick. The rotation amount and the rotation direction of 19 are calculated, and the calculation result is transmitted from the first command communication unit 44 as a camera drive control command, and is sent to the swing drive unit 49 via the second command communication unit 52. .

該首振り駆動部４９は、カメラ駆動制御コマンドに基づき前記ステレオカメラ１９をピッチ、ロール、ヨウの３軸に対して回転させ、所定の方向に設定する。該ステレオカメラ１９が３軸に対して回転することで、該ステレオカメラ１９の撮像範囲が上下方向、左右方向の任意な方向に移動し、画像合成処理等所定の処理が行われた後、新たな撮像方向での前記合成画像３８が前記３次元表示装置２５に表示される。   The swing drive unit 49 rotates the stereo camera 19 with respect to the three axes of pitch, roll, and yaw based on a camera drive control command, and sets the stereo camera 19 in a predetermined direction. When the stereo camera 19 rotates about the three axes, the imaging range of the stereo camera 19 moves in any direction, up and down, left and right, and after a predetermined process such as an image composition process is performed, a new The composite image 38 in a proper imaging direction is displayed on the three-dimensional display device 25.

而して、作業者は、前記施工計画画像データ４１に対する作業の現況及び現況に対する前記バケット７の位置、姿勢を目視することで、盛土するか、切土するかを把握し、該バケット７の動かすべき方向、量を的確に判断でき、前記現況画像データ３９が前記施工計画画像データ４１に合致することで、前記バケット７の制御、該バケット７による施工が終了する。   Thus, the operator grasps whether the bucket 7 is to be filled or cut by observing the current status of the work on the construction plan image data 41 and the position and posture of the bucket 7 with respect to the current status. The direction and amount to be moved can be accurately determined, and when the current state image data 39 matches the construction plan image data 41, the control of the bucket 7 and the construction by the bucket 7 are completed.

尚、本実施例では、撮像位置変更手段として前記運転室３の上面に前記レール２０を設け、該レール２０に沿って前記ステレオカメラ１９を移動させることで、前記死角部２４を撮像可能としているが、該運転室３の上面に撮像位置変更手段として伸縮可能なアームを設け、該アームに前記ステレオカメラ１９を固定的に設け、前記アームの伸縮により前記ステレオカメラ１９を移動させ、前記死角部２４を撮像できる様にしてもよい。尚、前記ステレオカメラ１９を移動させなくても十分な視界が得られる場合は、前記撮像位置変更手段は省略することができる。   In this embodiment, as the imaging position changing means, the rail 20 is provided on the upper surface of the cab 3 and the stereo camera 19 is moved along the rail 20 so that the blind spot 24 can be imaged. However, a telescopic arm is provided on the upper surface of the cab 3 as an imaging position changing means, the stereo camera 19 is fixedly provided on the arm, the stereo camera 19 is moved by the expansion and contraction of the arm, and the blind spot portion 24 may be imaged. The imaging position changing means can be omitted when a sufficient field of view can be obtained without moving the stereo camera 19.

又、前記ステレオカメラ１９に倍率調整機能を設け、該倍率調整機能により前記ステレオカメラ１９により撮像される範囲の拡大、縮小を行える様にしてもよい。   Further, the stereo camera 19 may be provided with a magnification adjustment function so that the range captured by the stereo camera 19 can be enlarged or reduced by the magnification adjustment function.

上述の様に、本実施例では、前記第１撮像部２１と前記第２撮像部２２を有する前記ステレオカメラ１９により撮像した画像を、３次元ディスプレイである前記３次元表示装置２５を用いて３次元表示する様にしているので、前記制御装置２６内で画像処理を行い、３次元画像を構築する必要がなく、演算処理の軽量化が図れ、前記制御装置２６の負担を軽減でき、ステレオ演算処理のミスを防止することができる。   As described above, in this embodiment, an image captured by the stereo camera 19 having the first image capturing unit 21 and the second image capturing unit 22 is displayed using the 3D display device 25 that is a 3D display. Since the three-dimensional display is performed, it is not necessary to perform image processing in the control device 26 to construct a three-dimensional image, the calculation processing can be reduced in weight, the burden on the control device 26 can be reduced, and stereo calculation can be performed. Processing errors can be prevented.

又、前記現況画像データ３９と前記施工計画画像データ４１とをそれぞれ３次元画像にて立体視可能とし、前記現況画像データ３９と前記施工計画画像データ４１とを重合せた状態で表示することで、作業者が直感的に作業を行うことができ、又施工計画に対する作業状態を容易に把握でき、作業性を向上させることができる。   Further, the current state image data 39 and the construction plan image data 41 can be stereoscopically viewed as a three-dimensional image, respectively, and the current state image data 39 and the construction plan image data 41 are displayed in a superposed state. The operator can work intuitively, can easily grasp the work state with respect to the construction plan, and can improve workability.

又、前記ステレオカメラ１９の前記第１撮像部２１と前記第２撮像部２２により取得された２つの画像に基づき写真測量を行い、３次元データ付きの画像とし、前記施工計画画像データ４１との具体的な差、例えば画像中の任意の部位についての具体的な差を求めることができる。   Further, photogrammetry is performed based on the two images acquired by the first imaging unit 21 and the second imaging unit 22 of the stereo camera 19 to obtain an image with three-dimensional data, and the construction plan image data 41. A specific difference, for example, a specific difference for an arbitrary part in the image can be obtained.

又、本実施例では、前記ステレオカメラ１９を３軸に対して回転させることで撮像方向を変更していたが、該ステレオカメラ１９で広画角の画像を取得し、前記３次元表示装置２５は撮像範囲の一部を表示する様にし、ジョイスティックの動きに同期して前記３次元表示装置２５に表示される前記現況画像データ３９の表示範囲を移動させることで、前記ステレオカメラ１９を回転させることなく同様の効果を得ることができる。この場合に於いては、前記操作部３３、前記主演算部２９により表示範囲変更手段が構成される。   In this embodiment, the imaging direction is changed by rotating the stereo camera 19 with respect to the three axes. However, the stereo camera 19 acquires a wide-angle image, and the three-dimensional display device 25 is used. Displays a part of the imaging range, and moves the display range of the current image data 39 displayed on the three-dimensional display device 25 in synchronization with the movement of the joystick, thereby rotating the stereo camera 19. The same effect can be obtained without. In this case, the operation unit 33 and the main calculation unit 29 constitute display range changing means.

又、前記機体姿勢センサ部２８の検出結果に基づき前記３次元表示装置２５の表示範囲、中心、撮像方向を決定しているが、前記操作部３３に作業者の視線の基準方向を設定するリセットボタンを設け、該リセットボタンにより撮像方向と視線の方向とを合致させてもよい。尚、第１通信部と第２通信部との間の通信は、有線通信であっても無線通信であってもよい。   Further, the display range, center, and imaging direction of the three-dimensional display device 25 are determined based on the detection result of the body posture sensor unit 28, but the reset is performed to set the reference direction of the operator's line of sight to the operation unit 33. A button may be provided, and the imaging direction and the line-of-sight direction may be matched by the reset button. The communication between the first communication unit and the second communication unit may be wired communication or wireless communication.

更に、本実施例では、建設機械として掘削機を説明したが、建設機械としては作業アームとしてブーム、作業具としてフックを有するクレーンであっても、作業アームとして排土板アーム、作業具として排土板を有するブルドーザであってもよい。   Further, in the present embodiment, the excavator has been described as the construction machine. However, the construction machine has a boom as a work arm and a crane having a hook as a work tool. A bulldozer having a base plate may be used.

１ 走行駆動体
２ 機体
３ 運転室
４ ブーム
５ アーム
７ バケット
１３ 第１ＧＰＳ装置
１４ 第２ＧＰＳ装置
１５ ２軸傾斜センサ
１６ ブーム傾斜センサ
１７ アーム傾斜センサ
１８ バケット傾斜センサ
１９ ステレオカメラ
２０ レール
２１ 第１撮像部
２２ 第２撮像部
２５ ３次元表示装置
２６ 制御装置
３１ 記憶部
３２ 画像合成部
３３ 操作部
３８ 合成画像
３９ 現況画像データ
４１ 施工計画画像データ
４６ カメラ駆動部 DESCRIPTION OF SYMBOLS 1 Travel drive body 2 Airframe 3 Driver's cab 4 Boom 5 Arm 7 Bucket 13 1st GPS apparatus 14 2nd GPS apparatus 15 2 axis | shaft inclination sensor 16 Boom inclination sensor 17 Arm inclination sensor 18 Bucket inclination sensor 19 Stereo camera 20 Rail 21 1st imaging part 22 Second imaging unit 25 3D display device 26 Control device 31 Storage unit 32 Image composition unit 33 Operation unit 38 Composite image 39 Current image data 41 Construction plan image data 46 Camera drive unit

Claims (6)

建設機械が作業具と、該作業具を支持し、該作業具に所要の作動をさせる作業アームと、第１の撮像部及び第２の撮像部を有するステレオカメラと、施工計画データを記憶する記憶部と、前記ステレオカメラの位置情報を取得する位置測定部と、３次元表示装置と、制御装置とを具備し、該制御装置は前記施工計画データと前記ステレオカメラの位置情報に基づき施工計画画像データを作成し、該施工計画画像データと前記ステレオカメラで撮像された現況画像データを重合せ、重合せた合成画像を前記３次元表示装置に３次元表示させることを特徴とする建設機械制御システム。   A construction machine stores a work tool, a work arm that supports the work tool and causes the work tool to perform a required operation, a stereo camera having a first imaging unit and a second imaging unit, and construction plan data. A storage unit; a position measuring unit that acquires position information of the stereo camera; a three-dimensional display device; and a control device, the control device based on the construction plan data and the position information of the stereo camera. Construction machine control characterized by creating image data, superimposing the construction plan image data and current image data captured by the stereo camera, and displaying the superposed composite image on the three-dimensional display device in three dimensions system. 前記合成画像は、前記現況画像データと前記施工計画画像データのいずれか一方が半透明となっている請求項１の建設機械制御システム。   The construction machine control system according to claim 1, wherein the composite image is translucent in either one of the current state image data and the construction plan image data. 前記３次元表示装置は前記ステレオカメラにて撮像された２つの現況画像データを基に前記合成画像の３次元表示が可能な３次元ディスプレイである請求項１又は請求項２の建設機械制御システム。   The construction machine control system according to claim 1 or 2, wherein the three-dimensional display device is a three-dimensional display capable of three-dimensionally displaying the composite image based on two current image data captured by the stereo camera. 前記ステレオカメラの撮像位置を変更可能な撮像位置変更手段を更に有する請求項１〜請求項３のうちいずれかの建設機械制御システム。   The construction machine control system according to claim 1, further comprising an imaging position changing unit capable of changing an imaging position of the stereo camera. 前記ステレオカメラの撮像方向を変更可能な撮像方向変更手段を更に有する請求項１〜請求項４のうちいずれかの建設機械制御システム。   The construction machine control system according to claim 1, further comprising an imaging direction changing unit capable of changing an imaging direction of the stereo camera. 前記ステレオカメラにより撮像される前記現況画像データの表示範囲を変更する表示範囲変更手段を更に有する請求項１〜請求項４のうちいずれかの建設機械制御システム。   The construction machine control system according to any one of claims 1 to 4, further comprising display range changing means for changing a display range of the current state image data captured by the stereo camera.
JP2011173558A 2011-08-09 2011-08-09 Construction machine control system Active JP5802476B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011173558A JP5802476B2 (en) 2011-08-09 2011-08-09 Construction machine control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011173558A JP5802476B2 (en) 2011-08-09 2011-08-09 Construction machine control system

Publications (2)

Publication Number Publication Date
JP2013036243A true JP2013036243A (en) 2013-02-21
JP5802476B2 JP5802476B2 (en) 2015-10-28

Family

ID=47886096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011173558A Active JP5802476B2 (en) 2011-08-09 2011-08-09 Construction machine control system

Country Status (1)

Country Link
JP (1) JP5802476B2 (en)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013113044A (en) * 2011-11-30 2013-06-10 Sumitomo (Shi) Construction Machinery Co Ltd Monitor system for construction machine
JP2014224410A (en) * 2013-05-16 2014-12-04 住友建機株式会社 Periphery monitoring device for work machine
WO2015162710A1 (en) * 2014-04-23 2015-10-29 株式会社日立製作所 Excavation device
WO2016111148A1 (en) * 2015-12-18 2016-07-14 株式会社小松製作所 Construction information display device, and method for displaying construction information
WO2017056269A1 (en) * 2015-09-30 2017-04-06 株式会社小松製作所 Image data generation method
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
JP2017145586A (en) * 2016-02-16 2017-08-24 株式会社小松製作所 Work vehicle
KR20170107068A (en) 2015-09-30 2017-09-22 가부시키가이샤 고마쓰 세이사쿠쇼 The image pickup device
WO2017169598A1 (en) * 2016-03-30 2017-10-05 株式会社小松製作所 Terminal device, control device, data integration device, work vehicle, image-capturing system, and image-capturing method
WO2017170900A1 (en) * 2016-03-31 2017-10-05 住友建機株式会社 Shovel
JP2017181340A (en) * 2016-03-31 2017-10-05 日立建機株式会社 Construction machine and calibration method of construction machine
JP2017186870A (en) * 2016-03-30 2017-10-12 株式会社小松製作所 Terminal device, control device, data integration device, work vehicle, imaging system, and imaging method
JP2017218792A (en) * 2016-06-07 2017-12-14 清水建設株式会社 Construction management apparatus and construction management method
CN107587534A (en) * 2017-09-15 2018-01-16 安徽合矿环境科技股份有限公司 A kind of excavating gear of the excavator with video system
JP2018017028A (en) * 2016-07-28 2018-02-01 株式会社タグチ工業 Camera device for construction machine
JP2018031153A (en) * 2016-08-23 2018-03-01 清水建設株式会社 Sensor storage device for construction machine
JPWO2017056267A1 (en) * 2015-09-30 2018-03-22 株式会社小松製作所 Imaging device
JPWO2017056268A1 (en) * 2015-09-30 2018-03-22 株式会社小松製作所 Work vehicle
CN107882102A (en) * 2017-11-09 2018-04-06 南京工业大学 A kind of energy-saving control method based on minus flow pump power valve electric current
JP2018059268A (en) * 2016-09-30 2018-04-12 株式会社小松製作所 Detecting and processing device and detecting and processing method for work machine
DE112016003771T5 (en) 2015-10-05 2018-05-03 Komatsu Ltd. Construction management system, construction management method and management device
CN108431337A (en) * 2015-12-28 2018-08-21 住友建机株式会社 Earth scraper
CN108699784A (en) * 2016-01-12 2018-10-23 约瑟夫福格勒公司 Road machine with the projecting apparatus as navigation auxiliary
DE112015000126B9 (en) * 2015-10-15 2018-10-25 Komatsu Ltd. Position measuring system and position measuring method
CN108884661A (en) * 2016-08-05 2018-11-23 株式会社小松制作所 Control system, control method and the working truck of working truck
JP2018188957A (en) * 2018-09-06 2018-11-29 住友重機械工業株式会社 Shovel
EP3418455A1 (en) * 2014-06-20 2018-12-26 Sumitomo Heavy Industries, Ltd. Shovel and control method thereof
KR20190034340A (en) 2016-10-31 2019-04-01 가부시키가이샤 고마쓰 세이사쿠쇼 Measuring systems, working machines and measuring methods
WO2019159687A1 (en) * 2018-02-19 2019-08-22 国立大学法人東京大学 Display system of working vehicle, and generation method
JP2019190064A (en) * 2018-04-20 2019-10-31 株式会社安藤・間 Attitude recognition system of construction machine
DE112018001447T5 (en) 2017-07-14 2019-12-12 Komatsu Ltd. TOPOGRAPHIC INFORMATION TRANSFER DEVICE, BUILDING MANAGEMENT SYSTEM AND TOPOGRAPHICAL INFORMATION TRANSFER METHOD
CN110573834A (en) * 2017-09-08 2019-12-13 株式会社小松制作所 Construction management device and construction management method
US10508416B2 (en) 2015-10-05 2019-12-17 Komatsu Ltd. Shape measuring system and shape measuring method
DE112018001594T5 (en) 2017-07-14 2019-12-19 Komatsu Ltd. OPERATING INFORMATION TRANSFER DEVICE, CONSTRUCTION DESIGN MANAGEMENT SYSTEM, OPERATING INFORMATION TRANSFER METHOD AND PROGRAM
WO2019244574A1 (en) * 2018-06-19 2019-12-26 住友建機株式会社 Excavator and information processing device
WO2020003633A1 (en) * 2018-06-29 2020-01-02 株式会社小松製作所 Display control system, display control device, and display control method
JP2020016147A (en) * 2019-10-17 2020-01-30 株式会社小松製作所 Shape measurement system and shape measurement method
JP2020128695A (en) * 2015-09-16 2020-08-27 住友重機械工業株式会社 Shovel and system for the same
US10822773B2 (en) 2015-10-05 2020-11-03 Komatsu Ltd. Construction machine and construction management system
JP2021008754A (en) * 2019-07-01 2021-01-28 Ｊｘ金属株式会社 Debris detection method, debris subdivision method, debris detection device and debris subdivision device
EP3754122A4 (en) * 2018-03-28 2021-03-31 Kobelco Construction Machinery Co., Ltd. Construction machine
KR20210068174A (en) * 2019-11-29 2021-06-09 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same
WO2021166566A1 (en) * 2020-02-21 2021-08-26 株式会社小松製作所 Work machine and remote control system for work machine
JP2021165526A (en) * 2020-09-29 2021-10-14 株式会社小松製作所 Work machine image display system
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
JP2022145942A (en) * 2020-09-29 2022-10-04 株式会社小松製作所 Work machine image display system
JP2022164713A (en) * 2020-10-08 2022-10-27 株式会社小松製作所 Image display system of work machine and image display method of work machine
US11585490B2 (en) 2016-08-05 2023-02-21 Komatsu Ltd. Management system
US11833698B2 (en) 2018-09-03 2023-12-05 Kawasaki Jukogyo Kabushiki Kaisha Vision system for a robot
US11873948B2 (en) 2016-08-05 2024-01-16 Komatsu Ltd. Management system
US11966990B2 (en) 2016-08-05 2024-04-23 Komatsu Ltd. Construction management system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424110U (en) * 1990-06-18 1992-02-27
JPH06317090A (en) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd Three-dimensional display device
JP2002352224A (en) * 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2008240362A (en) * 2007-03-27 2008-10-09 Komatsu Ltd Construction machine and method of guiding backward movement of construction machine
JP2009203676A (en) * 2008-02-27 2009-09-10 Caterpillar Japan Ltd Working machine equipped with monitoring device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424110U (en) * 1990-06-18 1992-02-27
JPH06317090A (en) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd Three-dimensional display device
JP2002352224A (en) * 2001-05-29 2002-12-06 Topcon Corp Device and system for measuring and displaying image, construction managing method and construction state monitoring system
JP2008240362A (en) * 2007-03-27 2008-10-09 Komatsu Ltd Construction machine and method of guiding backward movement of construction machine
JP2009203676A (en) * 2008-02-27 2009-09-10 Caterpillar Japan Ltd Working machine equipped with monitoring device

Cited By (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013113044A (en) * 2011-11-30 2013-06-10 Sumitomo (Shi) Construction Machinery Co Ltd Monitor system for construction machine
JP2014224410A (en) * 2013-05-16 2014-12-04 住友建機株式会社 Periphery monitoring device for work machine
WO2015162710A1 (en) * 2014-04-23 2015-10-29 株式会社日立製作所 Excavation device
JPWO2015162710A1 (en) * 2014-04-23 2017-04-13 株式会社日立製作所 Drilling rig
US10118553B2 (en) 2014-04-23 2018-11-06 Hitachi, Ltd. Excavation device using stereo camera and angle sensors to position bucket
JP2020125677A (en) * 2014-06-20 2020-08-20 住友重機械工業株式会社 Shovel and terrain data update method
EP3418455A1 (en) * 2014-06-20 2018-12-26 Sumitomo Heavy Industries, Ltd. Shovel and control method thereof
JP2020125676A (en) * 2014-06-20 2020-08-20 住友重機械工業株式会社 Terrain data update method and shovel
JP2020128690A (en) * 2014-06-20 2020-08-27 住友重機械工業株式会社 Shovel and method of controlling the same
US10968597B2 (en) 2014-06-20 2021-04-06 Sumitomo Heavy Industries, Ltd. Shovel and control method thereof
CN112359892A (en) * 2014-06-20 2021-02-12 住友重机械工业株式会社 Shovel, shovel control method, and topographic data update method
JP2020143571A (en) * 2014-06-20 2020-09-10 住友重機械工業株式会社 Shovel and method for controlling the same
JP7387795B2 (en) 2015-09-16 2023-11-28 住友重機械工業株式会社 Excavators and systems for excavators
JP7053720B2 (en) 2015-09-16 2022-04-12 住友重機械工業株式会社 Excavator and system for excavator
JP2022079675A (en) * 2015-09-16 2022-05-26 住友重機械工業株式会社 Shovel and system for shovel
JP2020128695A (en) * 2015-09-16 2020-08-27 住友重機械工業株式会社 Shovel and system for the same
KR20170107068A (en) 2015-09-30 2017-09-22 가부시키가이샤 고마쓰 세이사쿠쇼 The image pickup device
US10533305B2 (en) 2015-09-30 2020-01-14 Komatsu Ltd. Image pick-up apparatus
US11008735B2 (en) 2015-09-30 2021-05-18 Komatsu Ltd. Image pick-up apparatus
WO2017056269A1 (en) * 2015-09-30 2017-04-06 株式会社小松製作所 Image data generation method
JPWO2017056266A1 (en) * 2015-09-30 2018-03-15 株式会社小松製作所 Imaging device
JPWO2017056267A1 (en) * 2015-09-30 2018-03-22 株式会社小松製作所 Imaging device
JPWO2017056268A1 (en) * 2015-09-30 2018-03-22 株式会社小松製作所 Work vehicle
US20180080199A1 (en) * 2015-09-30 2018-03-22 Komatsu Ltd. Work vehicle
JPWO2017056269A1 (en) * 2015-09-30 2018-03-29 株式会社小松製作所 Image data generation method
US10822773B2 (en) 2015-10-05 2020-11-03 Komatsu Ltd. Construction machine and construction management system
US10385543B2 (en) 2015-10-05 2019-08-20 Komatsu Ltd. Construction management system, construction management method, and management device
DE112016003771T5 (en) 2015-10-05 2018-05-03 Komatsu Ltd. Construction management system, construction management method and management device
US10508416B2 (en) 2015-10-05 2019-12-17 Komatsu Ltd. Shape measuring system and shape measuring method
DE112016003502B4 (en) 2015-10-05 2021-10-21 Komatsu Ltd. Construction management system and form measurement method
US10385542B2 (en) 2015-10-05 2019-08-20 Komatsu Ltd. Construction management system, construction management method, and management device
US10233615B2 (en) 2015-10-15 2019-03-19 Komatsu Ltd. Position measurement system and position measurement method
DE112015000126B9 (en) * 2015-10-15 2018-10-25 Komatsu Ltd. Position measuring system and position measuring method
JP6096980B2 (en) * 2015-12-18 2017-03-15 株式会社小松製作所 Construction information display device and construction information display method
JPWO2016111148A1 (en) * 2015-12-18 2017-04-27 株式会社小松製作所 Construction information display device and construction information display method
WO2016111148A1 (en) * 2015-12-18 2016-07-14 株式会社小松製作所 Construction information display device, and method for displaying construction information
US10508417B2 (en) 2015-12-18 2019-12-17 Komatsu Ltd. Construction information display device and method for displaying construction information
DE112015000190B4 (en) * 2015-12-18 2021-06-17 Komatsu Ltd. Building construction information display apparatus and method for displaying building construction information
CN108431337A (en) * 2015-12-28 2018-08-21 住友建机株式会社 Earth scraper
US10745867B2 (en) 2016-01-12 2020-08-18 Joseph Voegele Ag Paving machine with projector as navigation aid
JP2019507255A (en) * 2016-01-12 2019-03-14 ヨゼフ フェゲーレ アーゲー Road pavers with projectors as navigation aids
CN108699784A (en) * 2016-01-12 2018-10-23 约瑟夫福格勒公司 Road machine with the projecting apparatus as navigation auxiliary
JP2017145586A (en) * 2016-02-16 2017-08-24 株式会社小松製作所 Work vehicle
WO2017141620A1 (en) * 2016-02-16 2017-08-24 株式会社小松製作所 Work vehicle
CN108432234B (en) * 2016-03-30 2021-11-12 株式会社小松制作所 Terminal device, control device, data integration device, work vehicle, imaging system, and imaging method
JP2017186870A (en) * 2016-03-30 2017-10-12 株式会社小松製作所 Terminal device, control device, data integration device, work vehicle, imaging system, and imaging method
AU2017242392B2 (en) * 2016-03-30 2019-12-05 Komatsu Ltd. Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
WO2017169598A1 (en) * 2016-03-30 2017-10-05 株式会社小松製作所 Terminal device, control device, data integration device, work vehicle, image-capturing system, and image-capturing method
US10805597B2 (en) 2016-03-30 2020-10-13 Komatsu Ltd. Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
CN108432234A (en) * 2016-03-30 2018-08-21 株式会社小松制作所 Terminal installation, control device, data integration device, working truck, camera system and image pickup method
US20190020867A1 (en) * 2016-03-30 2019-01-17 Komatsu Ltd. Terminal device, control device, data-integrating device, work vehicle, image-capturing system, and image-capturing method
JPWO2017170900A1 (en) * 2016-03-31 2019-02-14 住友建機株式会社 Excavator
JP2017181340A (en) * 2016-03-31 2017-10-05 日立建機株式会社 Construction machine and calibration method of construction machine
WO2017170900A1 (en) * 2016-03-31 2017-10-05 住友建機株式会社 Shovel
US10934688B2 (en) 2016-03-31 2021-03-02 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
JP2017218792A (en) * 2016-06-07 2017-12-14 清水建設株式会社 Construction management apparatus and construction management method
JP2018017028A (en) * 2016-07-28 2018-02-01 株式会社タグチ工業 Camera device for construction machine
US11873948B2 (en) 2016-08-05 2024-01-16 Komatsu Ltd. Management system
US11966990B2 (en) 2016-08-05 2024-04-23 Komatsu Ltd. Construction management system
CN108884661A (en) * 2016-08-05 2018-11-23 株式会社小松制作所 Control system, control method and the working truck of working truck
US11041289B2 (en) 2016-08-05 2021-06-22 Komatsu Ltd. System for controlling work vehicle, method for controlling work vehicle, and work vehicle
US11585490B2 (en) 2016-08-05 2023-02-21 Komatsu Ltd. Management system
JP2018031153A (en) * 2016-08-23 2018-03-01 清水建設株式会社 Sensor storage device for construction machine
KR20190039250A (en) 2016-09-30 2019-04-10 가부시키가이샤 고마쓰 세이사쿠쇼 Detection processing device of working machine and detection processing method of working machine
JP2018059268A (en) * 2016-09-30 2018-04-12 株式会社小松製作所 Detecting and processing device and detecting and processing method for work machine
KR20190034340A (en) 2016-10-31 2019-04-01 가부시키가이샤 고마쓰 세이사쿠쇼 Measuring systems, working machines and measuring methods
DE112017004688B4 (en) 2016-10-31 2022-10-27 Komatsu Ltd. Measuring system, working machine and measuring method
CN109716058A (en) * 2016-10-31 2019-05-03 株式会社小松制作所 Measuring system, Work machine and measurement method
US11441294B2 (en) 2016-10-31 2022-09-13 Komatsu Ltd. Measurement system, work machine, and measurement method
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
DE112018001447T5 (en) 2017-07-14 2019-12-12 Komatsu Ltd. TOPOGRAPHIC INFORMATION TRANSFER DEVICE, BUILDING MANAGEMENT SYSTEM AND TOPOGRAPHICAL INFORMATION TRANSFER METHOD
US11076130B2 (en) 2017-07-14 2021-07-27 Komatsu Ltd. Operation information transmission device, construction management system, operation information transmission method, and program
DE112018001594T5 (en) 2017-07-14 2019-12-19 Komatsu Ltd. OPERATING INFORMATION TRANSFER DEVICE, CONSTRUCTION DESIGN MANAGEMENT SYSTEM, OPERATING INFORMATION TRANSFER METHOD AND PROGRAM
US11250623B2 (en) 2017-07-14 2022-02-15 Komatsu Ltd. Topographic information transmission device, construction management system, and topographic information transmission method
CN110573834A (en) * 2017-09-08 2019-12-13 株式会社小松制作所 Construction management device and construction management method
CN110573834B (en) * 2017-09-08 2022-05-17 株式会社小松制作所 Construction management device and construction management method
CN107587534A (en) * 2017-09-15 2018-01-16 安徽合矿环境科技股份有限公司 A kind of excavating gear of the excavator with video system
CN107882102A (en) * 2017-11-09 2018-04-06 南京工业大学 A kind of energy-saving control method based on minus flow pump power valve electric current
US11377824B2 (en) 2018-02-19 2022-07-05 The University Of Tokyo Display system for work vehicle and generation method
WO2019159687A1 (en) * 2018-02-19 2019-08-22 国立大学法人東京大学 Display system of working vehicle, and generation method
JP7232437B2 (en) 2018-02-19 2023-03-03 国立大学法人 東京大学 WORK VEHICLE DISPLAY SYSTEM AND GENERATION METHOD
JP2019145953A (en) * 2018-02-19 2019-08-29 国立大学法人 東京大学 Work vehicle display system and generation method
US11421404B2 (en) 2018-03-28 2022-08-23 Kobelco Construction Machinery Co., Ltd. Construction machine
EP3754122A4 (en) * 2018-03-28 2021-03-31 Kobelco Construction Machinery Co., Ltd. Construction machine
JP2019190064A (en) * 2018-04-20 2019-10-31 株式会社安藤・間 Attitude recognition system of construction machine
JP6994427B2 (en) 2018-04-20 2022-01-14 株式会社安藤・間 Posture recognition system for construction machinery
US11959253B2 (en) 2018-06-19 2024-04-16 Sumitomo Construction Machinery Co., Ltd. Excavator and information processing apparatus
WO2019244574A1 (en) * 2018-06-19 2019-12-26 住友建機株式会社 Excavator and information processing device
JPWO2019244574A1 (en) * 2018-06-19 2021-06-24 住友建機株式会社 Excavator, information processing equipment
JP7358349B2 (en) 2018-06-19 2023-10-10 住友建機株式会社 Excavators, information processing equipment
US11459735B2 (en) 2018-06-29 2022-10-04 Komatsu Ltd. Display control system, display control device, and display control method
JP7080750B2 (en) 2018-06-29 2022-06-06 株式会社小松製作所 Display control system, remote control system, display control device, and display control method
WO2020003633A1 (en) * 2018-06-29 2020-01-02 株式会社小松製作所 Display control system, display control device, and display control method
JP2020002716A (en) * 2018-06-29 2020-01-09 株式会社小松製作所 Display control system, display control unit, and display control method
US11704866B2 (en) 2018-08-14 2023-07-18 Certainteed Llc Systems and methods for visualization of building structures
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
US11833698B2 (en) 2018-09-03 2023-12-05 Kawasaki Jukogyo Kabushiki Kaisha Vision system for a robot
JP2018188957A (en) * 2018-09-06 2018-11-29 住友重機械工業株式会社 Shovel
JP7117273B2 (en) 2019-07-01 2022-08-12 Ｊｘ金属株式会社 Fragmented piece detection method, fragmented fragmentation method, fragmented fragment detection device and fragmented fragmentation device
JP2021008754A (en) * 2019-07-01 2021-01-28 Ｊｘ金属株式会社 Debris detection method, debris subdivision method, debris detection device and debris subdivision device
JP2020016147A (en) * 2019-10-17 2020-01-30 株式会社小松製作所 Shape measurement system and shape measurement method
KR20210068174A (en) * 2019-11-29 2021-06-09 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same
KR102415420B1 (en) 2019-11-29 2022-07-04 한국생산기술연구원 System for measuring the position of the bucket of the excavator and method for measuring the position of the bucket using the same
WO2021166566A1 (en) * 2020-02-21 2021-08-26 株式会社小松製作所 Work machine and remote control system for work machine
JP7128497B2 (en) 2020-09-29 2022-08-31 株式会社小松製作所 Image display system for working machines
JP7333551B2 (en) 2020-09-29 2023-08-25 株式会社小松製作所 Image display system for working machines
JP2021165526A (en) * 2020-09-29 2021-10-14 株式会社小松製作所 Work machine image display system
JP2022145942A (en) * 2020-09-29 2022-10-04 株式会社小松製作所 Work machine image display system
JP2022164713A (en) * 2020-10-08 2022-10-27 株式会社小松製作所 Image display system of work machine and image display method of work machine
JP7462710B2 (en) 2020-10-08 2024-04-05 株式会社小松製作所 Work machine image display system and work machine image display method

Also Published As

Publication number Publication date
JP5802476B2 (en) 2015-10-28

Similar Documents

Publication Publication Date Title
JP5802476B2 (en) Construction machine control system
JP5759798B2 (en) Construction machine control system
US10385543B2 (en) Construction management system, construction management method, and management device
JP6147037B2 (en) Construction machine control system
JP6777375B2 (en) Work machine image display system, work machine remote control system and work machine
JP6474905B2 (en) Remote operation system and operation support system
JP2020509272A (en) Augmented reality display for material transfer machines
JP2844040B2 (en) 3D display device
WO2020003631A1 (en) Display control device and display control method
JP7420733B2 (en) Display control system and display control method
JPWO2017056268A1 (en) Work vehicle
KR102065477B1 (en) Imaging device
AU2019292457B2 (en) Display control device, display control system, and display control method
JP7080750B2 (en) Display control system, remote control system, display control device, and display control method
JPWO2017056269A1 (en) Image data generation method
JP7386592B2 (en) Construction machinery operation assistance system
JP6174199B1 (en) Guiding method and image display system
AU2021201940A1 (en) Construction method, work machine control system, and work machine
JP7155516B2 (en) construction machinery
JP2008121280A (en) Excavation machine with excavating state display device
JP2021038649A (en) Image display system for work machine, remote operation system for work machine, work machine, and image display method for work machine
JP6529058B1 (en) Construction machine management system, construction machine management program, construction machine management method, construction machine and external management device for construction machine
JPWO2017056267A1 (en) Imaging device
JP2017032276A (en) Position measurement system
KR20180060078A (en) System for Work Monitoring in Construction Equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R150 Certificate of patent or registration of utility model

Ref document number: 5802476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250