JP2008144379A - Image processing system of remote controlled working machine - Google Patents
Image processing system of remote controlled working machine Download PDFInfo
- Publication number
- JP2008144379A JP2008144379A JP2006329880A JP2006329880A JP2008144379A JP 2008144379 A JP2008144379 A JP 2008144379A JP 2006329880 A JP2006329880 A JP 2006329880A JP 2006329880 A JP2006329880 A JP 2006329880A JP 2008144379 A JP2008144379 A JP 2008144379A
- Authority
- JP
- Japan
- Prior art keywords
- working machine
- attitude
- camera
- measuring
- terrain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002440 industrial waste Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
- Operation Control Of Excavators (AREA)
Abstract
Description
本発明は、無線により遠隔操縦される遠隔操縦作業機の画像処理システムに関する。 The present invention relates to an image processing system for a remote control work machine that is remotely controlled by radio.
従来、災害復旧工事や製鉄所,産業廃棄物処理場等、容易に人の近づけない作業現場において各種作業を行うための作業機として、遠隔操縦作業機が知られている。遠隔操縦作業機とは、油圧ショベルやブルドーザ等に代表される作業機に搭載されたエンジンや油圧アクチュエータを、無線を用いて遠隔操作できるようにしたものである。
例えば、遠隔操縦作業機では、通常の作業機において運転席に配置される操作レバーや操作スイッチ類と同様の各種入力装置が携帯型のコントローラに設けられ、コントローラの操作内容が無線により作業機へと送信されて、その作業機がコントローラの操作内容通りに作動するようになっている。これによりオペレータは、作業機の運転席外部から、つまり、作業機から離れた位置でその作業機の動作を制御できる。上記のような遠隔操縦作業機としては、例えば特許文献1に記載されたものがある。
Conventionally, a remote control work machine is known as a work machine for performing various kinds of work in a work site that cannot be easily approached by people such as disaster recovery work, a steel works, and an industrial waste disposal site. The remote control working machine is an engine or a hydraulic actuator mounted on a working machine represented by a hydraulic excavator or a bulldozer, which can be remotely operated by radio.
For example, in a remote control work machine, various input devices similar to operation levers and operation switches arranged in a driver's seat in a normal work machine are provided in a portable controller, and the operation contents of the controller are wirelessly transmitted to the work machine. And the work machine operates according to the operation content of the controller. Thus, the operator can control the operation of the work machine from the outside of the driver's seat of the work machine, that is, at a position away from the work machine. As such a remote control working machine, there is one described in Patent Document 1, for example.
特許文献1に記載の技術では、遠隔操作が可能な建設機械において、バケット刃先を自動追尾して撮影する作業用カメラを建設機械のキャブ上に搭載するとともに、作業用カメラで撮影された画像信号を無線電波で伝送してディスプレイに表示させる構成が開示されている。つまり、オペレータは、ディスプレイ上の画像を参照しながら建設機械を遠隔操作することで、実際のバケット刃先の状況を把握しつつ作業を進めることができるようになっている。 In the technique described in Patent Document 1, in a construction machine that can be operated remotely, a work camera that automatically tracks and photographs a bucket blade edge is mounted on the cab of the construction machine, and an image signal captured by the work camera is used. Has been disclosed that is transmitted on a radio wave and displayed on a display. That is, the operator can proceed with the work while grasping the actual state of the bucket blade edge by remotely operating the construction machine while referring to the image on the display.
しかし、特許文献1に記載されたような作業用カメラでは、バケットの動きと地形の形状との対応関係を把握しにくい。例えば、バケットを用いた土面の成形作業では、実際の地形が3次元形状であるのに対し、作業用カメラで捉えられるカメラ映像は平面的な2次元情報であるため、奥行きがわかりにくくなる。つまり、作業用カメラの撮影方向の情報が欠落してしまい、オペレータにとって作業を進めにくい場合がある。 However, in the work camera described in Patent Document 1, it is difficult to grasp the correspondence between the movement of the bucket and the shape of the terrain. For example, in the soil surface forming operation using a bucket, the actual topography is a three-dimensional shape, but the camera image captured by the work camera is planar two-dimensional information, making it difficult to understand the depth. . That is, information on the shooting direction of the work camera is lost, and it may be difficult for the operator to proceed with the work.
このような課題に対し、作業範囲における奥行き方向の情報を検出する装置を利用した技術が開発されている。例えば、特許文献2には、キャブ頂部にスキャニングレーザを備えるとともに、バケット近傍に反射板を備えた構成の遠隔操作式建設機械が記載されている。スキャニングレーザとは、照射したレーザの反射光を検出して、レーザの行程時間差に基づきレーザを反射した対象物までの距離を測定する装置である。このような装置を用いることで、奥行き方向の情報を把握することが可能となる。なお、この特許文献2に記載の技術では、反射板を用いてバケットからの反射光の強度を高めることで、バケットと地形とを区別して認識している。
しかしながら、特許文献2に記載の技術において、スキャニングレーザによって測定される地形の形状は、スキャニングレーザに対する相対的な位置関係における形状でしかない。例えば、スキャニングレーザを搭載した作業機自体が均一な傾斜面に位置している場合には、スキャニングレーザ自体が斜めになり、傾斜面の勾配を測定することができないため、作業機の周囲の地形形状が水平であると見なされてしまう。 However, in the technique described in Patent Document 2, the shape of the terrain measured by the scanning laser is only a shape in a relative positional relationship with respect to the scanning laser. For example, if the work machine equipped with a scanning laser is located on a uniform inclined surface, the scanning laser itself is inclined and the slope of the inclined surface cannot be measured. The shape is assumed to be horizontal.
このようなスキャニングレーザによる検出情報と実際の地形との差異は、作業機の作業範囲のみの局所的な特徴を把握する分には単なる誤差として許容されるが、作業現場全体を大局的に捉えたいような場合や高度な施工精度を要求される場合には、正確な地形形状の把握を阻害する要因となりかねない。
また、特許文献2に記載の技術では、作業機にスキャニングレーザが搭載されているため、作業機の車体振動によって反射光の検知精度が低下して地形の計測に時間を要する場合や、正確な地形形状の計測ができない場合がある。
The difference between the information detected by the scanning laser and the actual topography is permissible as a mere error for grasping only the local features of the working range of the work implement, but the entire work site is viewed globally. If it is desired, or if a high degree of construction accuracy is required, it may be a factor that hinders accurate grasp of the topographic shape.
Further, in the technique described in Patent Document 2, since the scanning machine is mounted on the work machine, the detection accuracy of reflected light is lowered due to the vibration of the work machine body, and it takes time to measure the terrain. In some cases, topographical shape cannot be measured.
本発明は、このような課題に鑑みてなされたもので、無線により遠隔操縦が可能な遠隔操縦作業機において、簡素な構成で、対象地形と作業機との位置関係を容易かつ正確に把握することができるようにした、遠隔操縦作業機の画像処理システムを提供することを目的とする。 The present invention has been made in view of such problems, and in a remote control work machine capable of remote control by radio, the positional relationship between the target landform and the work machine can be easily and accurately grasped with a simple configuration. It is an object of the present invention to provide an image processing system for a remote control working machine that can be used.
上記目的を達成するため、請求項1記載の本発明の遠隔操縦作業機の画像処理システムは、無線信号によって遠隔操縦される作業機の画像処理システムにおいて、地球上における該作業機の絶対位置を計測する第1GPS受信手段と、該作業機の姿勢を計測する第1姿勢計測手段と、該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、該地球上における該地形計測装置の絶対位置を計測する第2GPS受信手段と、該地形計測装置の姿勢を計測する第2姿勢計測手段と、該第1GPS受信手段で計測された該作業機の絶対位置及び該第1姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、該第2GPS受信手段で計測された該地形計測装置の絶対位置及び該第2姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段とを備えたことを特徴としている。 In order to achieve the above object, an image processing system for a remotely operated work machine according to claim 1 of the present invention is the image processing system for a remotely operated work machine operated by a radio signal, wherein the absolute position of the work machine on the earth is determined. A first GPS receiving means for measuring, a first attitude measuring means for measuring the attitude of the working machine, a terrain measuring device provided separately from the working machine and measuring the shape of the target terrain around the working machine, The second GPS receiving means for measuring the absolute position of the terrain measuring apparatus on the earth, the second attitude measuring means for measuring the attitude of the terrain measuring apparatus, and the absolute of the work implement measured by the first GPS receiving means. A work machine computing means for computing a three-dimensional shape of the work machine based on the position and the attitude of the work machine measured by the first attitude measuring means; and the terrain measuring device measured by the second GPS receiving means. Absolute position of And the terrain calculation means for calculating the three-dimensional shape of the target terrain based on the attitude of the terrain measurement device measured by the second attitude measurement means, and the three-dimensional of the target terrain calculated by the terrain calculation means And a display means for superimposing and displaying the shape and the three-dimensional shape of the work implement calculated by the work implement calculation means.
ここでいう絶対位置とは、準拠楕円体を基準とする座標系(グローバル座標系)における位置であって、例えば緯度,経度及び高度によって規定される位置のことを意味している。また、ここでいう姿勢とは、水平面(準拠楕円体の接平面)に対する傾斜の大きさ及び傾斜方向(方位)のことを意味している。また、ここでいう三次元形状とは、上記のグローバル座標系における座標情報によって構成された三次元形状を意味している。 The absolute position here means a position in a coordinate system (global coordinate system) with the reference ellipsoid as a reference, for example, a position defined by latitude, longitude, and altitude. In addition, the posture here means the magnitude of the inclination and the inclination direction (azimuth) with respect to the horizontal plane (tangential plane of the reference ellipsoid). The three-dimensional shape here means a three-dimensional shape constituted by coordinate information in the global coordinate system.
一方、地形計測装置で計測される該作業機の周囲の対象地形の形状とは、該作業機に対する相対位置によって規定される形状であり、例えば、該作業機に固定された座標系に対する座標情報によって構成された形状を意味する。
また、該第1GPS受信手段及び該第2GPS受信手段とは、GPS衛星から伝播される電波信号を受信し、当該GPS衛星までの距離を測定する受信機である。該第1GPS受信手段及び該第2GPS受信手段は、複数のGPS衛星からの電波信号を受信することで、地球上における平面位置や標高を測定する。なお、GPSとは、全地球測位システムの略称である。
On the other hand, the shape of the target terrain around the working machine measured by the terrain measuring device is a shape defined by a relative position with respect to the working machine. For example, coordinate information on a coordinate system fixed to the working machine Means the shape formed by
The first GPS receiving means and the second GPS receiving means are receivers that receive a radio signal propagated from a GPS satellite and measure the distance to the GPS satellite. The first GPS receiving unit and the second GPS receiving unit measure radio wave signals from a plurality of GPS satellites to measure a planar position and altitude on the earth. GPS is an abbreviation for the global positioning system.
また、請求項2記載の本発明の遠隔操縦作業機の画像処理システムは、請求項1記載の構成において、該作業機に搭載され、該作業機による作業範囲を撮影するカメラと、該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、該第1GPS受信手段で計測された該作業機の絶対位置,該第1姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、該表示手段が、該地形演算手段で演算された該対象地形の三次元形状,該作業機演算手段で演算された該作業機の三次元形状及び該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示することを特徴としている。 According to a second aspect of the present invention, there is provided an image processing system for a remote control working machine according to the first aspect of the present invention, wherein the camera is mounted on the work machine and photographs a work range by the work machine, Camera attitude detection means for detecting the attitude of the camera with respect to the absolute position of the work implement measured by the first GPS receiving means, the attitude of the work implement measured by the first attitude measurement means, and the camera attitude detection Photographing range calculation means for calculating a three-dimensional shape of the shooting range of the camera based on the posture of the camera detected by the means, and the display means calculates the target terrain calculated by the terrain calculation means The three-dimensional shape of the camera, the three-dimensional shape of the work machine calculated by the work machine calculation means, and the shooting range of the camera calculated by the shooting range calculation means are superimposed and displayed.
なお、該カメラ姿勢検出手段において検出される該カメラの姿勢とは、該作業機に固定された座標系に対する姿勢を意味する。また、該カメラの姿勢は該カメラの撮影方向に対応する。
また、請求項3記載の本発明の遠隔操縦作業機の画像処理システムは、請求項2記載の構成において、該表示手段が、該対象地形の三次元形状,該作業機の三次元形状及び該撮影範囲の重畳画像と、該カメラで撮影された該作業範囲の映像とを同時に表示することを特徴としている。
The camera attitude detected by the camera attitude detection means means an attitude relative to the coordinate system fixed to the work implement. Further, the posture of the camera corresponds to the shooting direction of the camera.
According to a third aspect of the present invention, there is provided an image processing system for a remote control working machine according to the second aspect, wherein the display means includes a three-dimensional shape of the target terrain, a three-dimensional shape of the working machine, and the A superimposed image of the shooting range and an image of the work range shot by the camera are displayed at the same time.
また、請求項4記載の本発明の遠隔操縦作業機の画像処理システムは、請求項1〜3の何れか1項に記載の構成において、該作業機に搭載された作業装置としてのブーム,アーム及びバケットと、該ブーム,該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えたことを特徴としている。
つまり、該回動角センサを、該第1姿勢計測手段として機能させる。
なお、回動角センサで検出される該ブーム,該アーム及び該バケットの各々の回動角は、該作業機に固定された座標系に対する回動角を意味する。例えば、該作業機の上部旋回体に固定された座標系や、該ブームに固定さえた座標系,該アームに固定された座標系等が挙げられる。
According to a fourth aspect of the present invention, there is provided a remote control work machine image processing system according to any one of the first to third aspects, wherein a boom and an arm as a work device mounted on the work machine. And a bucket, and a rotation angle sensor for detecting a rotation angle of each of the boom, the arm, and the bucket.
That is, the rotation angle sensor is caused to function as the first attitude measuring unit.
Note that the rotation angle of each of the boom, the arm, and the bucket detected by the rotation angle sensor means a rotation angle with respect to a coordinate system fixed to the working machine. For example, a coordinate system fixed to the upper swing body of the work implement, a coordinate system fixed to the boom, a coordinate system fixed to the arm, and the like can be given.
また、請求項5記載の本発明の遠隔操縦作業機の画像処理システムは、請求項1〜4の何れか1項に記載の構成において、該地形計測装置として、複数のカメラからなるステレオカメラを備えたことを特徴としている。
なお、ここでいうステレオカメラとは、該複数のカメラによって撮影された画像間の視差を利用して、該画像中の被写体までの距離を算出するものである。
According to a fifth aspect of the present invention, in the image processing system for a remote control working machine according to the first aspect of the present invention, in the configuration according to any one of the first to fourth aspects, a stereo camera including a plurality of cameras is used as the terrain measuring device. It is characterized by having prepared.
Note that the term “stereo camera” here refers to calculating the distance to the subject in the image using the parallax between images taken by the plurality of cameras.
また、請求項6記載の本発明の遠隔操縦作業機の画像処理システムは、請求項1〜5の何れか1項に記載の構成において、該作業機の傾斜角を検出するジャイロと、該作業機が傾斜している方位を検出する方位センサとを有することを特徴としている。
なお、該ジャイロで検出される該傾斜角,該方位センサで検出される該方位は、それぞれグローバル座標系に対する傾斜角,グローバル座標系での方位を意味する。
According to a sixth aspect of the present invention, there is provided an image processing system for a remote control work machine according to the present invention, wherein the gyro for detecting an inclination angle of the work machine in the configuration according to any one of the first to fifth aspects, and the work And an azimuth sensor for detecting a azimuth in which the machine is inclined.
The inclination angle detected by the gyro and the direction detected by the azimuth sensor mean an inclination angle with respect to the global coordinate system and an orientation in the global coordinate system, respectively.
本発明の遠隔操縦作業機の画像処理システム(請求項1)によれば、作業機の遠隔操縦において、対象地形と作業機との位置関係を容易かつ正確に把握することができる。また、対象地形が作業機とは別設された地形計測装置によって計測されているため、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。さらに、対象地形及び作業機の重畳表示により、上記の位置関係をオペレータにわかりやすく提供することができる。 According to the image processing system for a remote control work machine of the present invention (Claim 1), it is possible to easily and accurately grasp the positional relationship between the target landform and the work machine in the remote control of the work machine. In addition, since the target terrain is measured by a terrain measurement device that is installed separately from the work equipment, not only the relative positional relationship between the target terrain and the work equipment, but also the absolute positional relation must be accurately grasped. It is possible to improve the workability. Furthermore, the above positional relationship can be provided to the operator in an easy-to-understand manner by the superimposed display of the target terrain and the work implement.
また、本発明の遠隔操縦作業機の画像処理システム(請求項2)によれば、作業機の遠隔操縦において、対象地形中におけるカメラの撮影範囲を容易かつ正確に把握することができ、作業性を向上させることができる。
また、本発明の遠隔操縦作業機の画像処理システム(請求項3)によれば、演算によって得られた重畳画像と実際の作業範囲の映像とを同時に表示することにより、より正確に作業機の周囲の状況を把握することができる。
In addition, according to the image processing system for a remote control working machine of the present invention (Claim 2), the shooting range of the camera in the target terrain can be easily and accurately grasped in the remote control of the work machine, and the workability is improved. Can be improved.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 3), the superimposed image obtained by the calculation and the video of the actual working range are simultaneously displayed, so that the working machine can be more accurately displayed. It is possible to grasp the surrounding situation.
また、本発明の遠隔操縦作業機の画像処理システム(請求項4)によれば、作業中における作業機全体の姿勢をより詳細に把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム(請求項5)によれば、低コストで作業機の周囲の対象地形の形状を把握することができる。
また、本発明の遠隔操縦作業機の画像処理システム(請求項6)によれば、容易かつ安価に作業機の姿勢を把握することができる。
Further, according to the image processing system for a remote control working machine of the present invention (Claim 4), the posture of the entire working machine during work can be grasped in more detail.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 5), the shape of the target terrain around the working machine can be grasped at low cost.
Further, according to the image processing system for a remote control working machine of the present invention (Claim 6), the posture of the working machine can be grasped easily and inexpensively.
以下、図面により、本発明の実施の形態について説明する。
図1〜図3は本発明の一実施形態に係る遠隔操縦作業機の画像処理システムを説明するものであり、図1(a)は本画像処理システムが適用された作業機の全体構成を示す模式的な側面図、(b)は本画像処理システムに係るステレオカメラ及び操作室の構成を示す模式図、図2は本画像処理システムの信号処理に係る全体構成を示す制御ブロック図、図3は本画像処理システムによって表示される画像の一例であり、(a)は対象地形,作業機及びTVカメラの撮影範囲を重畳表示したCG画像、(b)は作業カメラで撮影された作業範囲の映像を示す。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 3 illustrate an image processing system for a remote control working machine according to an embodiment of the present invention, and FIG. 1 (a) shows an overall configuration of the working machine to which the image processing system is applied. FIG. 2B is a schematic side view, FIG. 2B is a schematic diagram showing a configuration of a stereo camera and an operation room according to the image processing system, FIG. 2 is a control block diagram showing an overall configuration related to signal processing of the image processing system, and FIG. Is an example of an image displayed by the present image processing system, (a) is a CG image in which the target terrain, the work machine, and the shooting range of the TV camera are superimposed, and (b) is a work range shot by the work camera. Show the picture.
[構成]
〔1.油圧ショベル〕
本遠隔操縦作業機の画像処理システムは、図1(a)に示す油圧ショベル20に適用される。この油圧ショベル20は、クローラ式の油圧走行装置を装備した下部走行体13と、下部走行体13の上に旋回自在に搭載された上部旋回体14とを備える。
[Constitution]
[1. (Excavator)
The image processing system of the remote control working machine is applied to a
上部旋回体14は、機体前方へ向けて延出する油圧駆動式の作業装置11やオペレータ(運転者)が搭乗可能なキャブ14a,エンジンや油圧ポンプが配置されるエンジンルーム14b,機体の重量バランスを保つためのカウンタウェイト14c等を備える。
作業装置11は、ブーム11a,アーム11b及びバケット11cの三つの部位を有する。これらの各部位間には油圧シリンダが設けられ、各油圧シリンダを作動させることで各部位が独立して駆動される。図1(a)中では、ブーム11aを駆動するためのブームシリンダ11A,アーム11bを駆動するためのアームシリンダ11B及びバケット11cの角度を制御するためのバケットシリンダ11Cが示されている。
The upper-
The working
ブーム11aは、図1(a)に示すように、その下端部を上部旋回体14に軸支された部材である。ブームシリンダ11Aを伸縮作動させることで、ブーム11aの先端側が上下方向へ揺動する。ブーム11aと上部旋回体14との軸支部分には、ブーム11aの回動角(上部旋回体6に対する回動角度)を検出する角度センサ(回動角センサ)12aが設けられる。
As shown in FIG. 1A, the
アーム11bは、ブーム11aの先端に軸支された部材であり、アームシリンダ11Bを伸縮作動させると、アーム11bの前端側が上下方向へ揺動する。アーム11bのブーム11aに対する軸支部分には、アーム11bの回動角(ブーム5aに対する回動角度)を検出する角度センサ(回動角センサ)12bが設けられる。
バケット11cはアーム11bの先端に軸支された部材であり、バケットシリンダ11Cを伸縮作動させることで開閉動作する。バケット11cのアーム11bに対する軸支部分には、バケット11cの回動角(アーム5bに対する回動角度)を検出する角度センサ(回動角センサ)12cが設けられる。角度センサ12a〜12cで検出された回動角の情報は、後述する入力処理器15へ入力される。
The
The
キャブ14aの後方に配置されたエンジンルーム14b内には、本油圧ショベル20の駆動源となるエンジンや油圧装置を駆動するための油圧ポンプ等を配置する。なお、本油圧ショベル20は、キャブ14a内に装備された操作装置によるエンジン,油圧アクチュエータの操作が可能なだけでなく、携帯型のコントローラを用いた無線での遠隔操作が可能な遠隔操縦作業機である。
In an
キャブ14aの上部には、作業範囲を撮影するTVカメラ(カメラ)7がキャブ14aに対して上下方向へ回動可能に設けられる。TVカメラ7で撮影された映像は、同じくキャブ14a上部に固設されたアンテナ17から送信される。また、キャブ14a上部には、TVカメラ7の回動角度を検出する角度検出器(カメラ姿勢検出手段)8が併設される。つまり、TVカメラ7は、TVカメラ7の油圧ショベル20に対する姿勢(つまり撮影方向)を検出する。角度検出器8で検出されたTVカメラ7の姿勢の情報は、後述する入力処理器15へ入力される。
Above the
また、上部旋回体14上には、作業機GPS受信機(第1GPS受信手段)1a及び作業機姿勢検出器(第1姿勢計測手段)2aが固設される。作業機GPS受信機1aは、複数のGPS衛星から伝播される電波信号を受信し、当該GPS衛星までの距離をそれぞれ計測するものである。これにより、地球上における油圧ショベル20の絶対位置を計測する。ここでいう絶対位置とは、準拠楕円体を基準とする座標系(グローバル座標系)における位置であって、緯度,経度及び高度によって規定される位置のことを意味する。
A work implement GPS receiver (first GPS receiving means) 1 a and a work implement attitude detector (first attitude measuring means) 2 a are fixed on the
作業機姿勢検出器2aは、油圧ショベル20の水平面(準拠楕円体の接平面)に対する傾斜の大きさを計測するジャイロと、その傾斜方向(方位)を計測する方位センサとを備えて構成される。ここで検出された油圧ショベル20の絶対位置及び姿勢の情報は、入力処理器15へ入力される。
入力処理器15は、油圧ショベル20の絶対位置,作業装置11の各回動角,TVカメラ7の姿勢情報及び油圧ショベル20の姿勢情報を無線信号の送信データへ変換するものである。ここで変換された無線信号は、エンジンルーム14b上に固設されたアンテナ16から送信される。
The work
The
〔2.ステレオカメラ〕
上記の油圧ショベル20の作業現場には、油圧ショベル20の周囲の対象地形の形状を計測するステレオカメラ(地形計測装置)3が設けられる。ステレオカメラ3は、複数のカメラによって撮影された画像間の視差を利用して、画像中の被写体までの距離を算出する。これにより、ステレオカメラ3の撮影範囲内の地形形状が計測される。ただしこれは、ステレオカメラ3の固設位置を基準とした座標系における座標情報によって構成された地形形状である。なお、このステレオカメラ3は、油圧ショベル20とは別設され、例えば作業現場の建造物に固定される。作業現場が屋内の場合には、ステレオカメラ3を天井から吊り下げてもよい。
[2. Stereo camera)
At the work site of the
図1(b)に示すように、ステレオカメラ3には、ステレオカメラGPS受信機(第2GPS受信手段)1b及びステレオカメラ姿勢検出器(第2姿勢計測装置)2bが固設される。ステレオカメラGPS受信機1bは、ステレオカメラ3の地球上における絶対位置を計測する。一方、ステレオカメラ姿勢検出器2bは、ステレオカメラ3の姿勢(撮影方向)を計測する。
As shown in FIG. 1B, the
ステレオカメラ3で計測された地形形状,ステレオカメラGPS受信機1bで計測された絶対位置及びステレオカメラ姿勢検出器2bで計測された姿勢の各情報は、ステレオカメラ3に内蔵された信号処理器21へ入力されて送信データに変換され、LAN(有線又は無線)等の情報伝達網を介して送信される。
Each information of the terrain shape measured by the
〔3.操作室〕
図1(b)に示すように、作業現場から離れた場所に操作室23が設けられる。操作室23は、油圧ショベル20の遠隔操縦の操作を行う場所である。この操作室23には、信号受信器18,画像受信器19,信号処理器10,画像処理演算器22及びモニタ(表示手段)6が備えられる。
[3. Operation room]
As shown in FIG. 1B, an
信号受信器18は、油圧ショベル20のアンテナ16から送信される無線信号を受信する。ここで受信された信号は、信号処理器20へ入力される。一方、画像受信器19は、油圧ショベル20のアンテナ17から送信されたTVカメラ7の映像を受信し、モニタ6へ出力する。
信号処理器10は、信号受信器18からの信号及び情報伝達網を介して接続された信号処理器21からの信号に基づく演算を行うものであり、図2に示すように、地形形状演算処理器(地形演算手段)5,機体姿勢演算処理器(作業機演算手段)4及びカメラ撮影範囲演算処理器(撮影範囲演算手段)9を備えて構成される。
The
The
地形形状演算処理器5は、ステレオカメラ3で計測された地形形状,ステレオカメラ3の絶対位置及び姿勢から、ステレオカメラ3で撮影された地形の三次元形状を演算する。ここで演算される三次元形状は、グローバル座標系における座標情報によって構成された三次元形状である。ここで演算された油圧ショベル20の周囲の地形の三次元データは、画像処理演算器22へ入力される。
The terrain shape calculation processor 5 calculates the three-dimensional shape of the terrain imaged by the
機体姿勢演算処理器4は、油圧ショベル20の絶対位置,姿勢及び作業装置11の回動角から、油圧ショベル20のグローバル座標系における座標情報によって構成された三次元形状を演算する。ここで演算された油圧ショベル20の三次元データは、画像処理演算器22へ入力される。
カメラ撮影範囲演算処理器9は、TVカメラ7の姿勢,油圧ショベル20の絶対位置及び姿勢から、TVカメラ7の撮影範囲のグローバル座標系での範囲形状を演算する。なお、ここで油圧ショベル20の絶対位置及び姿勢が用いられる理由は、TVカメラ7が油圧ショベル20に設けられているからである。ここで演算された油圧ショベル20の三次元データは、画像処理演算器22へ入力される。
The body posture calculation processor 4 calculates the three-dimensional shape constituted by the coordinate information in the global coordinate system of the
The camera shooting range calculation processor 9 calculates a range shape in the global coordinate system of the shooting range of the TV camera 7 from the attitude of the TV camera 7 and the absolute position and attitude of the
画像処理演算器22は、地形形状演算処理器5,機体姿勢演算処理器4及びカメラ撮影範囲演算処理器9で演算された各三次元形状を合成し、一つのCG画像データを作成してモニタ6へ出力する。つまりここでは、各三次元形状が重畳される。
モニタ6は、画像処理演算器22で作成された一つの画像データとTVカメラ7の映像とを同時に表示する。ここでは、画面を二分割して二つの映像を同時に表示してもよいし、一方の映像に他方の映像をインポーズしてもよい。
The image
The
[作用]
上記のような構成により、本遠隔操縦作業機の画像処理システムは以下のように作用すれる。
まず、油圧ショベル20では、作業機GPS受信器1a,作業機姿勢検出器2a,角度センサ12a〜12c及び角度検出器8のそれぞれにおいて、油圧ショベル20の絶対位置情報,油圧ショベル20の姿勢情報,作業装置11の各回動角及びTVカメラ7の姿勢情報が随時計測,検出される。これらの検出情報は、入力処理器15を介して油圧ショベル20のアンテナ16から送信され、操作室23内の信号受信器18を介して信号処理器10へ入力される。油圧ショベル20のTVカメラ7で撮影された映像は、アンテナ17から送信され、操作室23内の画像受信器19で受信される。
[Action]
With the configuration as described above, the image processing system of the remote control working machine operates as follows.
First, in the
一方、ステレオカメラGPS受信器1a,ステレオカメラ姿勢検出器2b及びステレオカメラ3のそれぞれにおいて、ステレオカメラ3の絶対位置情報,ステレオカメラ3の姿勢情報及び油圧ショベル20の周囲の対象地形の形状情報が随時計測,検出される。これらの検出情報は、信号処理器21でデータ変換された後、情報伝達網を介して送信され、操作室23内の信号処理器10へ入力される。
On the other hand, in each of the stereo
信号処理器10において、油圧ショベル20の三次元形状,油圧ショベル20の周囲の地形の三次元形状及びTVカメラ7の撮影範囲形状が演算される。これらの演算では、グローバル座標系における座標情報によって構成された形状が算出される。その後、画像処理演算器22において、これらの形状がCG画像として合成される。
モニタ6では、画像処理演算器22で合成されたCG画像と画像受信器19で受信されたTVカメラ7の映像とが同時に表示される。なお、これらのCG画像及び映像は、随時更新される。
In the
On the
例えば、モニタ6の表示画面が二分割され、その一方の分割画面に、図3(a)に示すように、油圧ショベル20の三次元形状,油圧ショベル20の周囲の地形の三次元形状及びTVカメラ7の撮影範囲形状が重畳表示される。また、他方の分割画面には、図3(b)に示すように、実際の作業範囲の状況が表示される。TVカメラ7の表示範囲は、図3(a)に破線で表示されているTVカメラ7の撮影範囲と略一致することになる。
For example, the display screen of the
[効果]
このように、本画像処理システムによれば、油圧ショベル20とその周囲の地形との位置関係を容易かつ正確に把握することができる。たとえ油圧ショベル20や地形が傾斜していても、GPSの利用によりその傾斜を正確に把握できる。すなわち、対象地形と作業機との相対的な位置関係だけでなく、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
[effect]
Thus, according to the present image processing system, the positional relationship between the
また、ステレオカメラ3が油圧ショベル20とは別設されているため、油圧ショベル20の車体振動が地形の計測に悪影響を与えることがなく、短時間で正確に地形計測を済ませることができる。
また、油圧ショベル20,周囲の地形及びTVカメラ7の撮影範囲形状が一つのCG画像として重畳表示されるため、これらの位置関係が視覚的にわかりやすい。なお、周囲の地形中における理論上の撮影範囲と、実際のTVカメラ7で撮影された映像とが同時に表意されるため、オペレータはこれらの対応関係をより明確に把握することができる。また、油圧ショベル20とその周囲の状況を示すCG画像とTVカメラ7の映像とが随時更新されるため、油圧ショベル20の作業量を把握することもできる。
なお、本画像処理システムは構成が簡素であり、コストを低減させることができる。
Further, since the
In addition, since the
The image processing system has a simple configuration and can reduce the cost.
[その他]
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態では、本発明に係る遠隔操縦作業機の画像処理システムを油圧ショベル20に適用したものを説明したが、これ以外の車両に適用することも考えられる。遠隔操縦が可能な作業機であれば、例えばブルドーザやホイールローダ等の作業機械全般に広く適用可能である。
[Others]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the image processing system for a remote control working machine according to the present invention is applied to the
また、上述の実施形態では、画像処理演算器22において油圧ショベル20の三次元形状,油圧ショベル20の周囲の地形の三次元形状及びTVカメラ7の撮影範囲形状が合成されているが、TVカメラ7の撮影範囲形状を省いた構成としてもよい。少なくとも油圧ショベル20とその周囲の地形とが重畳表示されれば、絶対的な位置関係を正確に把握することができ、施工性を向上させることができる。
In the above-described embodiment, the three-dimensional shape of the
また、上述の実施形態では、図3(a),(b)に示すようなCG画像及びTVカメラ7の映像が同時に表示されているが、一つのモニタ上において所定の時間間隔で交互に表示する構成としてもよいし、複数のモニタを用意して同時に表示させる構成としてもよい。
また、上述の実施形態では、ブーム,アーム及びバケットの回動状態を検出する回動角センサ12a〜12cを備えた構成となっているが、これらの構成は必須ではない(例えば、ブルドーザやホイールローダに本発明の画像処理システムを適用する場合等)。なお、回動角センサの代わりに各油圧シリンダの作動量を検出するセンサを用いて、作業装置11の姿勢を把握してもよい。
Further, in the above-described embodiment, the CG image and the video of the TV camera 7 as shown in FIGS. 3A and 3B are displayed at the same time, but alternately displayed at a predetermined time interval on one monitor. It is good also as a structure to prepare, and it is good also as a structure which prepares several monitors and displays simultaneously.
Moreover, in the above-mentioned embodiment, although it has the structure provided with the
また、油圧ショベル20の周囲の地形形状に関しても、ステレオカメラ3以外のセンサを用いることが可能である。例えば、スキャニングレーザ等のレーダ装置を適用してもよい。
なお、上述の実施形態では、ジャイロ及び方位センサを用いて油圧ショベル20の姿勢を検出しているが、グローバル座標系に対する姿勢を検出できるものであればこれに限定されず、他のセンサ類を用いてもよいことは言うまでもない。
Further, regarding the terrain shape around the
In the above-described embodiment, the attitude of the
1a 作業機GPS受信器(第1GPS受信手段)
1b ステレオカメラGPS受信機(第2GPS受信手段)
2a 作業機姿勢検出器(第1姿勢計測手段)
2b ステレオカメラ姿勢検出器(第2姿勢計測装置)
3 ステレオカメラ(地形計測装置)
4 機体姿勢演算処理器(作業機演算手段)
5 地形形状演算処理器(地形演算手段)
6 モニタ(表示手段)
7 TVカメラ(カメラ)
8 角度検出器(カメラ姿勢検出手段)
9 カメラ撮影範囲演算処理器(撮影範囲演算手段)
10 信号処理器
11 作業装置
12a〜12c 角度センサ(回動角センサ)
20 油圧ショベル(遠隔操縦作業機)
23 操作室
1a Work machine GPS receiver (first GPS receiving means)
1b Stereo camera GPS receiver (second GPS receiving means)
2a Work implement attitude detector (first attitude measuring means)
2b Stereo camera attitude detector (second attitude measuring device)
3 Stereo camera (terrain measuring device)
4 Aircraft attitude calculation processor (work machine calculation means)
5 Terrain shape calculation processor (terrain calculation means)
6 Monitor (display means)
7 TV camera (camera)
8 Angle detector (camera posture detection means)
9 Camera shooting range calculation processor (shooting range calculation means)
DESCRIPTION OF
20 Hydraulic excavator (remote control work machine)
23 Operation room
Claims (6)
地球上における該作業機の絶対位置を計測する第1GPS受信手段と、
該作業機の姿勢を計測する第1姿勢計測手段と、
該作業機とは別設され、該作業機の周囲の対象地形の形状を計測する地形計測装置と、
該地球上における該地形計測装置の絶対位置を計測する第2GPS受信手段と、
該地形計測装置の姿勢を計測する第2姿勢計測手段と、
該第1GPS受信手段で計測された該作業機の絶対位置及び該第1姿勢計測手段で計測された該作業機の姿勢に基づいて、該作業機の三次元形状を演算する作業機演算手段と、
該第2GPS受信手段で計測された該地形計測装置の絶対位置及び該第2姿勢計測手段で計測された該地形計測装置の姿勢に基づいて、該対象地形の三次元形状を演算する地形演算手段と、
該地形演算手段で演算された該対象地形の三次元形状及び該作業機演算手段で演算された該作業機の三次元形状を重畳表示する表示手段と
を備えたことを特徴とする、遠隔操縦作業機の画像処理システム。 In an image processing system for a work machine remotely controlled by a wireless signal,
First GPS receiving means for measuring the absolute position of the work machine on the earth;
First attitude measuring means for measuring the attitude of the work implement;
A terrain measuring device that is provided separately from the work implement and measures the shape of the target terrain around the work implement;
Second GPS receiving means for measuring the absolute position of the terrain measuring device on the earth;
A second posture measuring means for measuring the posture of the terrain measuring device;
A working machine computing means for computing a three-dimensional shape of the working machine based on the absolute position of the working machine measured by the first GPS receiving means and the attitude of the working machine measured by the first attitude measuring means; ,
A terrain calculating means for calculating a three-dimensional shape of the target terrain based on the absolute position of the terrain measuring apparatus measured by the second GPS receiving means and the attitude of the terrain measuring apparatus measured by the second attitude measuring means. When,
A remote control comprising: a display unit configured to superimpose and display the three-dimensional shape of the target terrain calculated by the terrain calculating unit and the three-dimensional shape of the working unit calculated by the working unit calculating unit Image processing system for work equipment.
該作業機に対する該カメラの姿勢を検出するカメラ姿勢検出手段と、
該第1GPS受信手段で計測された該作業機の絶対位置,該第1姿勢計測手段で計測された該作業機の姿勢及び該カメラ姿勢検出手段で検出された該カメラの姿勢に基づいて、該カメラの撮影範囲の三次元形状を演算する撮影範囲演算手段とをさらに備え、
該表示手段が、該対象地形の三次元形状及び該作業機の三次元形状に加えて、該撮影範囲演算手段で演算された該カメラの該撮影範囲を重畳表示する
ことを特徴とする、請求項1記載の遠隔操縦作業機の画像処理システム。 A camera mounted on the work machine and photographing a work range by the work machine;
Camera posture detection means for detecting the posture of the camera with respect to the work implement;
Based on the absolute position of the working machine measured by the first GPS receiving means, the attitude of the working machine measured by the first attitude measuring means, and the attitude of the camera detected by the camera attitude detecting means, A shooting range calculation means for calculating the three-dimensional shape of the shooting range of the camera;
The display means superimposes and displays the shooting range of the camera calculated by the shooting range calculation means in addition to the three-dimensional shape of the target terrain and the three-dimensional shape of the work implement. Item 12. The image processing system for a remote control working machine according to Item 1.
ことを特徴とする、請求項2記載の遠隔操縦作業機の画像処理システム。 The display means simultaneously displays a three-dimensional shape of the target terrain, a three-dimensional shape of the work implement, a superimposed image of the shooting range, and an image of the work range shot by the camera. The image processing system for a remote control working machine according to claim 2.
該ブーム,該アーム及び該バケットの各々の回動角を検出する回動角センサとをさらに備えた
ことを特徴とする、請求項1〜3の何れか1項に記載の遠隔操縦作業機の画像処理システム。 A boom, an arm and a bucket as a working device mounted on the working machine;
The remote control working machine according to any one of claims 1 to 3, further comprising a rotation angle sensor that detects a rotation angle of each of the boom, the arm, and the bucket. Image processing system.
ことを特徴とする、請求項1〜4の何れか1項に記載の遠隔操縦作業機の画像処理システム。 The remote control work machine image processing system according to any one of claims 1 to 4, wherein the terrain measuring device includes a stereo camera including a plurality of cameras.
ことを特徴とする、請求項1〜5の何れか1項に記載の遠隔操縦作業機の画像処理システム。 The first attitude measuring means includes a gyro that detects an inclination angle of the work implement, and an orientation sensor that detects an orientation in which the work implement is inclined. The image processing system for a remote control working machine according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329880A JP2008144379A (en) | 2006-12-06 | 2006-12-06 | Image processing system of remote controlled working machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329880A JP2008144379A (en) | 2006-12-06 | 2006-12-06 | Image processing system of remote controlled working machine |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008144379A true JP2008144379A (en) | 2008-06-26 |
Family
ID=39604845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329880A Withdrawn JP2008144379A (en) | 2006-12-06 | 2006-12-06 | Image processing system of remote controlled working machine |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008144379A (en) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013168777A (en) * | 2012-02-15 | 2013-08-29 | Fujita Corp | Remote control system |
JP2013168778A (en) * | 2012-02-15 | 2013-08-29 | Fujita Corp | Remote control system |
JP2014013527A (en) * | 2012-07-05 | 2014-01-23 | East Japan Railway Co | Image forming apparatus, image forming system, and image forming program |
JP2015162886A (en) * | 2014-02-28 | 2015-09-07 | 東芝ロジスティクス株式会社 | obstacle monitoring system and program |
WO2016079557A1 (en) * | 2014-11-17 | 2016-05-26 | Yanmar Co., Ltd. | Display system for remote control of working machine |
JP2017022433A (en) * | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | Remote control system |
JP2017110492A (en) * | 2017-02-06 | 2017-06-22 | 住友建機株式会社 | Shovel |
JP2017147759A (en) * | 2017-05-08 | 2017-08-24 | 住友建機株式会社 | Shovel |
JP2017172185A (en) * | 2016-03-23 | 2017-09-28 | 株式会社小松製作所 | Work vehicle |
CN107447800A (en) * | 2017-08-17 | 2017-12-08 | 山东省环科院环境工程有限公司 | A kind of ephemeral stream polluted bed mud accurately controls dredging method |
KR101944817B1 (en) * | 2018-04-11 | 2019-02-07 | (주)영신디엔씨 | Detection Automatic System of Excavating Work Using Mobile Terminal |
KR101944816B1 (en) * | 2018-04-11 | 2019-02-07 | (주)영신디엔씨 | Detection Automatic System of Excavating Work |
WO2019054003A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社小松製作所 | Display system, display method, and display device |
CN110132255A (en) * | 2019-04-10 | 2019-08-16 | 北京拓疆者智能科技有限公司 | Control method, device, display terminal, mechanical equipment and man-machine interactive system |
JP2019218059A (en) * | 2019-09-18 | 2019-12-26 | 株式会社小松製作所 | Construction machine |
WO2020054412A1 (en) * | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Work-machine display system and control method therefor |
WO2020054411A1 (en) * | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for work machine, and method for controlling display system |
JP2020125677A (en) * | 2014-06-20 | 2020-08-20 | 住友重機械工業株式会社 | Shovel and terrain data update method |
JP2020128695A (en) * | 2015-09-16 | 2020-08-27 | 住友重機械工業株式会社 | Shovel and system for the same |
JP2021073401A (en) * | 2021-02-10 | 2021-05-13 | 住友重機械工業株式会社 | Shovel, and system for shovel |
CN112884710A (en) * | 2021-01-19 | 2021-06-01 | 上海三一重机股份有限公司 | Auxiliary image generation method, remote control method and device for operation machine |
JP2022135239A (en) * | 2021-03-05 | 2022-09-15 | 日立建機株式会社 | Operation control system of construction machine |
WO2023144988A1 (en) * | 2022-01-28 | 2023-08-03 | 株式会社やまびこ | Work robot system |
-
2006
- 2006-12-06 JP JP2006329880A patent/JP2008144379A/en not_active Withdrawn
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013168778A (en) * | 2012-02-15 | 2013-08-29 | Fujita Corp | Remote control system |
JP2013168777A (en) * | 2012-02-15 | 2013-08-29 | Fujita Corp | Remote control system |
JP2014013527A (en) * | 2012-07-05 | 2014-01-23 | East Japan Railway Co | Image forming apparatus, image forming system, and image forming program |
JP2015162886A (en) * | 2014-02-28 | 2015-09-07 | 東芝ロジスティクス株式会社 | obstacle monitoring system and program |
JP7441710B2 (en) | 2014-06-20 | 2024-03-01 | 住友重機械工業株式会社 | A system including a shovel and a multicopter, and a shovel |
JP2020125677A (en) * | 2014-06-20 | 2020-08-20 | 住友重機械工業株式会社 | Shovel and terrain data update method |
WO2016079557A1 (en) * | 2014-11-17 | 2016-05-26 | Yanmar Co., Ltd. | Display system for remote control of working machine |
JP2017022433A (en) * | 2015-07-07 | 2017-01-26 | 日立建機株式会社 | Remote control system |
JP2022079675A (en) * | 2015-09-16 | 2022-05-26 | 住友重機械工業株式会社 | Shovel and system for shovel |
JP2020128695A (en) * | 2015-09-16 | 2020-08-27 | 住友重機械工業株式会社 | Shovel and system for the same |
JP7053720B2 (en) | 2015-09-16 | 2022-04-12 | 住友重機械工業株式会社 | Excavator and system for excavator |
JP7387795B2 (en) | 2015-09-16 | 2023-11-28 | 住友重機械工業株式会社 | Excavators and systems for excavators |
WO2017163823A1 (en) * | 2016-03-23 | 2017-09-28 | 株式会社小松製作所 | Work vehicle |
JP2017172185A (en) * | 2016-03-23 | 2017-09-28 | 株式会社小松製作所 | Work vehicle |
JP2017110492A (en) * | 2017-02-06 | 2017-06-22 | 住友建機株式会社 | Shovel |
JP2017147759A (en) * | 2017-05-08 | 2017-08-24 | 住友建機株式会社 | Shovel |
CN107447800A (en) * | 2017-08-17 | 2017-12-08 | 山东省环科院环境工程有限公司 | A kind of ephemeral stream polluted bed mud accurately controls dredging method |
US11280062B2 (en) | 2017-09-15 | 2022-03-22 | Komatsu Ltd. | Display system, display method, and display device |
JP2019054464A (en) * | 2017-09-15 | 2019-04-04 | 株式会社小松製作所 | Display system, display method, and display device |
WO2019054003A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社小松製作所 | Display system, display method, and display device |
AU2018333193B2 (en) * | 2017-09-15 | 2021-03-18 | Komatsu Ltd. | Display system, display method, and display device |
KR101944816B1 (en) * | 2018-04-11 | 2019-02-07 | (주)영신디엔씨 | Detection Automatic System of Excavating Work |
KR101944817B1 (en) * | 2018-04-11 | 2019-02-07 | (주)영신디엔씨 | Detection Automatic System of Excavating Work Using Mobile Terminal |
JP2020045633A (en) * | 2018-09-14 | 2020-03-26 | 株式会社小松製作所 | Display system of work machine and control method thereof |
WO2020054411A1 (en) * | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for work machine, and method for controlling display system |
WO2020054412A1 (en) * | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Work-machine display system and control method therefor |
JP7286287B2 (en) | 2018-09-14 | 2023-06-05 | 株式会社小松製作所 | Work machine display system and its control method |
CN110132255A (en) * | 2019-04-10 | 2019-08-16 | 北京拓疆者智能科技有限公司 | Control method, device, display terminal, mechanical equipment and man-machine interactive system |
CN110132255B (en) * | 2019-04-10 | 2021-06-18 | 北京拓疆者智能科技有限公司 | Control method and device, display terminal, mechanical equipment and human-computer interaction system |
JP2019218059A (en) * | 2019-09-18 | 2019-12-26 | 株式会社小松製作所 | Construction machine |
CN112884710A (en) * | 2021-01-19 | 2021-06-01 | 上海三一重机股份有限公司 | Auxiliary image generation method, remote control method and device for operation machine |
JP2021073401A (en) * | 2021-02-10 | 2021-05-13 | 住友重機械工業株式会社 | Shovel, and system for shovel |
JP2022135239A (en) * | 2021-03-05 | 2022-09-15 | 日立建機株式会社 | Operation control system of construction machine |
WO2023144988A1 (en) * | 2022-01-28 | 2023-08-03 | 株式会社やまびこ | Work robot system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008144379A (en) | Image processing system of remote controlled working machine | |
WO2017061518A1 (en) | Construction management system, construction management method and management device | |
JP6777375B2 (en) | Work machine image display system, work machine remote control system and work machine | |
WO2020241618A1 (en) | Map generation system and map generation method | |
CN104884713B (en) | The display system and its control method of construction implement | |
JP6322612B2 (en) | Construction management system and shape measurement method | |
JP2020159192A (en) | Display system, construction machine, and display method | |
JP6585697B2 (en) | Construction management system | |
WO2020003631A1 (en) | Display control device and display control method | |
JP6867132B2 (en) | Work machine detection processing device and work machine detection processing method | |
JP7080750B2 (en) | Display control system, remote control system, display control device, and display control method | |
JP2010018141A (en) | Display device in construction machine | |
JP2024028464A (en) | Display control system and display control method | |
JP6918716B2 (en) | Construction machinery | |
JP2011001775A (en) | Display device for construction machine | |
JP7386592B2 (en) | Construction machinery operation assistance system | |
JP6606230B2 (en) | Shape measurement system | |
JP6815462B2 (en) | Shape measurement system and shape measurement method | |
JP6616149B2 (en) | Construction method, work machine control system, and work machine | |
JP2021038649A (en) | Image display system for work machine, remote operation system for work machine, work machine, and image display method for work machine | |
WO2023002796A1 (en) | System for setting operation range of excavation machine and method for controlling same | |
AU2022252761A1 (en) | Display control system, display control method and remote operation system | |
JP7436339B2 (en) | Display control device and display method | |
US20220316188A1 (en) | Display system, remote operation system, and display method | |
WO2024070333A1 (en) | Construction machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100302 |