JP2020051029A - Coordinate conversion system and working machine - Google Patents
Coordinate conversion system and working machine Download PDFInfo
- Publication number
- JP2020051029A JP2020051029A JP2018178039A JP2018178039A JP2020051029A JP 2020051029 A JP2020051029 A JP 2020051029A JP 2018178039 A JP2018178039 A JP 2018178039A JP 2018178039 A JP2018178039 A JP 2018178039A JP 2020051029 A JP2020051029 A JP 2020051029A
- Authority
- JP
- Japan
- Prior art keywords
- reference point
- coordinate system
- coordinates
- coordinate
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 154
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 26
- 239000003550 marker Substances 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 22
- 238000010276 construction Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 13
- 230000010365 information processing Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
- E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
- E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
- E02F3/80—Component parts
- E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
- E02F3/841—Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2045—Guiding machines along a predetermined path
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
- G01C15/06—Surveyors' staffs; Movable markers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/51—Relative positioning
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Abstract
Description
本発明は座標変換パラメータを利用して任意の点の地理座標系座標を現場座標系座標に変換する座標変換システム及びそれを備えた作業機械に関する。 The present invention relates to a coordinate conversion system that converts a geographic coordinate system coordinate of an arbitrary point into a site coordinate system coordinate using a coordinate conversion parameter, and a work machine including the coordinate conversion system.
作業機を有する油圧ショベル等の作業機械による施工に対して情報通信技術を適用した情報化施工では,施工対象の3次元形状を規定した設計データを基に作業機械で形成すべき施工対象(目標面)の2次元形状を規定したデータが生成され,その目標面のデータを基に作業機械による施工を支援する技術が利用されている。この種の技術としては,目標面と作業機の位置関係をモニタに表示するマシンガイダンス(MG)や,目標面の上方に作業機が保持されるように作業機を半自動的に制御するマシンコントロール(MC)がある。 In information-oriented construction that applies information and communication technology to construction with work machines such as hydraulic shovels that have work machines, the construction objects to be formed with work machines based on the design data that defines the three-dimensional shape of the construction object (target Data that defines the two-dimensional shape of the surface is generated, and a technology that supports construction by a working machine based on the data of the target surface is used. This type of technology includes machine guidance (MG) that displays the positional relationship between the target plane and the work equipment on a monitor, and machine control that semi-automatically controls the work equipment so that the work equipment is held above the target plane. (MC).
MGやMCでは,作業機に設定した制御点(例えば作業機の先端に位置するバケットの刃先位置。作業点とも称する)の位置を,油圧ショベルに設定された車体座標系上や地理座標系において正確に演算することが求められる。この種の作業点の位置の演算精度を向上するため方法として,ブーム,アーム及びバケットの寸法と揺動角を示す複数のパラメータを較正する較正装置を利用するものがある。例えば特許文献1には,外部計測装置が計測した第1作業点位置情報と第2作業点位置情報とに基づいて,座標変換情報を演算し,外部計測装置で計測された作業点の複数の位置での座標(本稿の「座標」とは座標を構成する各数値(座標値)も含む概念とする)を,座標変換情報を用いて,外部計測装置における座標系から油圧ショベルにおける車体座標系に変換し,車体座標系に変換された作業点の複数の位置での座標に基づいて,パラメータの較正値を演算する較正装置が開示されている。
In MG and MC, the position of a control point (for example, the position of a cutting edge of a bucket located at the tip of the work machine, also referred to as a work point) set on the work machine is determined on a vehicle body coordinate system or a geographic coordinate system set on the hydraulic excavator. Accurate calculations are required. As a method for improving the calculation accuracy of the position of such a working point, there is a method using a calibration device for calibrating a plurality of parameters indicating the dimensions and the swing angle of the boom, the arm, and the bucket. For example, in
作業機械の制御点の位置の正確度を向上するために留意する事項は他にもある。情報化施工で利用される設計データは3次元CADソフト等を利用して任意の座標系(本稿ではこの座標系を「現場座標系」と称する)上に定義される。一方,作業機械の制御点の位置は,作業機械に搭載されたGNSS(Global Navigation Satellite Systems)アンテナが受信した航法衛星からの信号(航法信号)を基に地理座標系上の座標(例えば,緯度,経度,楕円体高)として演算される。そのため,上記のMGやMCを現場座標系上で実施するためには,地理座標系上の作業機械の制御点の位置(座標)を現場座標系上の座標に変換する必要がある。この座標の変換には予め設定された座標変換パラメータが利用される。 There are other considerations to improve the accuracy of the location of the control points of the work machine. The design data used in the computerized construction is defined on an arbitrary coordinate system (this coordinate system is referred to as “site coordinate system” in this paper) by using three-dimensional CAD software or the like. On the other hand, the position of the control point of the work machine is based on a signal (navigation signal) from a navigation satellite received by a GNSS (Global Navigation Satellite Systems) antenna mounted on the work machine and coordinates on a geographic coordinate system (for example, latitude , Longitude, ellipsoid height). Therefore, in order to implement the above-described MG and MC on the site coordinate system, it is necessary to convert the position (coordinate) of the control point of the work machine on the geographic coordinate system into coordinates on the site coordinate system. A coordinate conversion parameter set in advance is used for the coordinate conversion.
座標変換パラメータは,施工開始前に作業現場全体を囲うように杭等の固定基準点を複数設置し,各固定基準点について現場座標系座標と地理座標系座標を取得し,その2種類の座標系の座標をもとに算出される。ただし,現場座標系座標はトータルステーション等により測定され,地理座標系座標はGNSS等の衛星測位により測定される。後者の衛星測位による地理座標系座標は,衛星の配置や電離層の状況など,様々な要因により時々刻々と変動し得る。そのため,地理座標系座標から現場座標系座標への変換精度を向上する観点からは,衛星測位結果の変動に合わせて座標変換パラメータも変更(較正)することが好ましい。 The coordinate conversion parameters are as follows: Before starting the construction, a plurality of fixed reference points such as piles are installed so as to surround the entire work site, and the site coordinate system coordinates and geographic coordinate system coordinates are acquired for each fixed reference point, and the two types of coordinates are obtained. It is calculated based on the coordinates of the system. However, the on-site coordinate system coordinates are measured by a total station or the like, and the geographic coordinate system coordinates are measured by satellite positioning such as GNSS. The latter geographical coordinate system obtained by satellite positioning may fluctuate momentarily due to various factors such as the arrangement of satellites and the state of the ionosphere. Therefore, from the viewpoint of improving the conversion accuracy from the geographic coordinate system coordinates to the site coordinate system coordinates, it is preferable to change (calibrate) the coordinate conversion parameters in accordance with the fluctuation of the satellite positioning result.
本発明の目的は,地理座標系座標から現場座標系座標への座標変換パラメータを衛星測位結果の変動に合わせて容易に生成(較正)できる座標変換システム及びそれを備えた作業機械を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a coordinate conversion system capable of easily generating (calibrating) a coordinate conversion parameter from a geographic coordinate system coordinate to a site coordinate system coordinate in accordance with a change in satellite positioning results, and a work machine provided with the coordinate conversion system. It is in.
本願は上記課題を解決する手段を複数含んでいるが,その一例を挙げるならば,作業現場に設置された基準点の地理座標系座標と現場座標系座標に基づいて生成された座標変換パラメータを利用して任意の点の地理座標系座標を現場座標系座標に変換するコントローラを備える座標変換システムにおいて,前記基準点を撮影する撮影装置と,航法信号を受信するGNSSアンテナとを備え,前記コントローラは,前記GNSSアンテナで受信される航法信号と,前記撮影装置と前記GNSSアンテナとの距離とに基づいて前記撮影装置の地理座標系座標を演算し,前記撮影装置により前記基準点を撮影した画像に画像処理を施すことで前記撮影装置から前記基準点までの距離及び方位を演算し,その演算した前記撮影装置から前記基準点までの距離及び方位と,前記演算した前記撮影装置の地理座標系座標とに基づいて,前記基準点の地理座標系座標を演算し,その演算した前記基準点の地理座標系座標と,前記基準点の現場座標系座標とに基づいて前記座標変換パラメータを較正することとする。 The present application includes a plurality of means for solving the above-mentioned problems. To give an example, a coordinate conversion parameter generated based on the geographic coordinate system coordinates of the reference point installed in the work site and the site coordinate system coordinates is given. A coordinate conversion system including a controller for converting a geographic coordinate system coordinate of an arbitrary point into a site coordinate system coordinate using an imaging device for imaging the reference point, and a GNSS antenna for receiving a navigation signal, wherein the controller Calculates the geographic coordinate system coordinates of the photographing device based on the navigation signal received by the GNSS antenna and the distance between the photographing device and the GNSS antenna, and obtains an image obtained by photographing the reference point by the photographing device. Calculating the distance and the azimuth from the photographing device to the reference point by performing image processing, and calculating the calculated distance from the photographing device to the reference point. Calculating the geographic coordinate system coordinates of the reference point based on the distance and the azimuth and the calculated geographic coordinate system coordinates of the photographing device, and calculating the calculated geographic coordinate system coordinates of the reference point; The coordinate conversion parameters are calibrated based on the on-site coordinate system coordinates.
本発明によれば,衛星測位結果の変動に合わせて地理座標系座標から現場座標系座標への座標変換パラメータを容易に生成できる。 According to the present invention, it is possible to easily generate a coordinate conversion parameter from the geographic coordinate system coordinates to the site coordinate system coordinates according to the fluctuation of the satellite positioning result.
以下,本発明の実施の形態について図面を用いて説明する。なお,以下では本発明が適用される作業機械として,作業機(フロント作業機)の先端のアタッチメントとしてバケット4を備える油圧ショベルを例示するが,バケット以外のアタッチメントを備える油圧ショベルで本発明を適用しても構わない。また,油圧ショベル以外の作業機械であっても,例えばホイールローダのように作業機を有する作業機械であれば本発明は適用可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, as an example of a working machine to which the present invention is applied, a hydraulic shovel having a bucket 4 as an attachment at the tip of a working machine (a front working machine) is illustrated. However, the present invention is applied to a hydraulic shovel having an attachment other than the bucket. It does not matter. In addition, the present invention is applicable to work machines other than hydraulic excavators as long as the work machine has a work machine such as a wheel loader.
<第1実施形態>
図1は本発明の実施形態に係る油圧ショベルの構成図である。図1に示すように,油圧ショベル1は,垂直方向にそれぞれ回動する複数のフロント部材(ブーム2,アーム3及びバケット4)を連結して構成された多関節型の作業機(フロント作業機)1Aと,上部旋回体1BA及び下部走行体1BBからなる車体1Bとで構成され,作業機1Aの基端側に位置するブーム2の基端は上部旋回体1BAの前部に上下方向に回動可能に支持されている。上部旋回体1BAは下部走行体1BBの上部に旋回可能に取り付けられている。また上部旋回体1BAには,作業現場に設置された基準点SPの写真を撮影するための内部パラメータ(例えば,焦点距離(f),イメージセンサーサイズ(縦h,横w),画素数(縦H,横W),ユニットセルサイズ,画像中心座標等)及び外部パラメータ(上下方向,左右方向及び回転方向の角度(すなわちチルト角(ピッチ角),パン角(方位角)及びロール角))が明らかな撮影装置(カメラ)19と,作業現場に設置された基準点SPの地理座標系Co5の座標と現場座標系Co6の座標に基づいて生成された座標変換パラメータPr56を利用して任意の点の地理座標系Co5の座標を現場座標系Co6の座標に変換する機能を有するコントローラ100とが設置されている。現場座標系Co6は,油圧ショベル1による施工対象の設計データが作成された3次元座標系である。
<First embodiment>
FIG. 1 is a configuration diagram of a hydraulic shovel according to an embodiment of the present invention. As shown in FIG. 1, a
撮影装置19は,CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子(イメージセンサ)を備えた単眼カメラである。撮影装置19は撮影した画像データをコントローラ100に出力する。また撮影装置19は画像情報の他に,ステレオカメラのような視差を利用した深度情報(被写体までの距離情報)や,レーザー光等を発射してその反射光を到達時間を計測する等して深度情報が取得可能なカメラに代替してもよい。
The image capturing
本実施形態において撮影装置19は上部旋回体1BAの右側面(車体右側面)に設置されているが,撮影装置19の設置位置は車体前方や後方,車体左側面でもよく,撮影装置19は複数個所に設置されていてもよい。その際,ステレオカメラのように一カ所に複数台ずつ設置されていてもよい。また,撮影装置19は,例えば後述する基準点の方に撮影方向を向けるなど,所定の範囲内において撮影方向を任意に変えられる機構(例えば雲台)により基準点を撮影しやすくする機能を備えていてもよい。上部旋回体1BAに設定された3次元座標系である車体座標系Co4における撮影装置19の位置(車体座標系座標)や撮影方向,内部パラメータは既知または検出可能である。撮影装置19に設定された3次座標系である撮影装置座標系Co1の座標と車体座標系Co4の座標の座標変換パラメータPr14,Pr41は既知または検出可能であるため,これらは相互に変換可能である。撮影装置19で撮影された画像は,コントローラ100に出力される。
In this embodiment, the
ブーム2,アーム3,バケット4,上部旋回体1BA及び下部走行体1BBは,それぞれ,ブームシリンダ5,アームシリンダ6,バケットシリンダ7,旋回油圧モータ8及び左右の走行油圧モータ9a,9b(油圧アクチュエータ)により駆動される被駆動部材を構成する。それら複数の被駆動部材の動作は,上部旋回体1BA上の運転室内に設置された走行右レバー10a,走行左レバー10b,操作右レバー11a及び操作左レバー11b(これらを操作レバー10,11と総称することがある)がオペレータにより操作されることにより発生するパイロット圧によって制御される。操作レバー10,11の操作によって出力されるパイロット圧は複数の圧力センサ45によって検出されてコントローラ100に入力されている(図2参照)。
The
上記の複数の被駆動部材を駆動するパイロット圧には,操作レバー10,11の操作によって出力されるものだけでなく,油圧ショベル1に搭載された複数の比例電磁弁20(図2参照)の一部(増圧弁)が操作レバー10,11の操作とは無関係に動作して出力するものや,複数の比例電磁弁20の一部(減圧弁)が動作して操作レバー10,11の操作によって出力されたパイロット圧を減圧したものが含まれる。このように複数の比例電磁弁20(増圧弁及び減圧弁)から出力されたパイロット圧は,予め定められた条件に従ってブームシリンダ5,アームシリンダ6及びバケットシリンダ7を動作させるMCを発動させる。
The pilot pressures for driving the plurality of driven members include not only those output by operating the operation levers 10 and 11, but also the plurality of proportional solenoid valves 20 (see FIG. 2) mounted on the
作業機1Aには,ブーム2,アーム3,バケット4の回動角度α,β,γ(図3参照)を測定可能なように,ブームピンにブーム角度センサ12が,アームピンにアーム角度センサ13が,バケットリンク15にバケット角度センサ14が取付けられている。上部旋回体1BAには,基準面(例えば水平面)に対する上部旋回体1BA(車体1B)の前後方向の傾斜角θ(図3参照)を検出する車体前後傾斜角センサ16aと,上部旋回体1BA(車体1B)の左右方向の傾斜角φ(図示せず)を検出する車体左右傾斜角センサ16bとが取付けられている。
The
上部旋回体1BAには第1GNSSアンテナ17aと第2GNSSアンテナ17bが配置されている。第1GNSSアンテナ17a及び第2GNSSアンテナ17bはRTK−GNSS(Real Time Kinematic - Global Navigation Satellite Systems)用のアンテナであり,複数のGNSS衛星から発信された電波(航法信号)を受信する。第1GNSSアンテナ17a及び第2GNSSアンテナ17bと撮影装置19との距離はコントローラ100の記憶装置内に記憶されている。そのため,第1GNSSアンテナ17a又は第2GNSSアンテナ17bの地理座標系における座標と車体の傾斜角θ,φが分かれば撮影装置19の地理座標系における座標を演算できる。
A
図3中に記されているX軸及びZ軸は,ブームピンの軸心上の点(例えば中央点)を原点とし,車体上方方向をZ軸,車体前方方向をX軸,車体右方向をY軸とする車体座標系Co4を表したものである。車体座標系Co4と地理座標系Co5は公知の方法で求められる座標変換パラメータPr45,Pr54を用いることで相互に変換可能である。例えばこの座標変換パラメータPr45,Pr54は,各フロント部材2,3,4の寸法と,第1及び第2GNSSアンテナ17a,17bの車体座標系Co4における座標が既知であり,車体1Bのピッチ角θ及びロール角φがセンサ16a,16bにより取得可能であることを利用して,RTK−GNSS測位による第1GNSSアンテナ17aと第2GNSSアンテナ17bとの地理座標系座標と,これらから演算される上部旋回体1BA及びフロント作業機1Aの地理座標系における方位角から求めることができる。
The X-axis and Z-axis shown in FIG. 3 have a point (for example, a center point) on the axis of the boom pin as the origin, the Z-axis is in the upward direction of the vehicle, the X-axis is in the forward direction of the vehicle, and the Y is in the right direction of the vehicle. This represents a vehicle body coordinate system Co4 as an axis. The vehicle body coordinate system Co4 and the geographic coordinate system Co5 can be mutually converted by using coordinate conversion parameters Pr45 and Pr54 obtained by a known method. For example, the coordinate conversion parameters Pr45 and Pr54 are known for the dimensions of the
油圧ショベル1の運転室内の表示モニタ18の画面上には,各種姿勢センサ12,13,14,16の出力から演算された作業機1Aの姿勢情報や,GNSSアンテナ17a,17bの受信信号から演算された上部旋回体1BAの位置情報等を基に作業機1Aを側面視した画像及び目標面の断面形状が表示される。
On the screen of the display monitor 18 in the cab of the
図2は第1実施形態に係る油圧ショベル1のシステム構成図である。本実施形態の油圧ショベル1は,図2に示すように,撮影装置19と,姿勢センサ(角度センサ)12,13,14と,傾斜角センサ16a,16bと,第1及び第2GNSSアンテナ17a,17bと,コントローラ100と,表示モニタ18とを備えている。
FIG. 2 is a system configuration diagram of the
コントローラ100は,処理装置(例えばCPU)と,その処理装置が実行するプログラムが格納された記憶装置(例えばROM,RAM等の半導体メモリ)を有する制御装置である。本実施形態のコントローラ100は,外部装置(例えば,撮影装置19,入力装置44(図9参照),各種センサ12,13,14,16,17,操作レバー10,11)からの情報や信号を受信して,地理座標系Co5や現場座標系Co6における作業機1A上の制御点の座標の演算及びそれに必要な各種演算や,油圧ショベル1の運転室内に設置された表示モニタ(表示装置)18への表示や油圧ショベル1の動作に関する各種演算を行っている。記憶装置(ROM,RAM等)には,較正部21の基準点情報記録部25や情報処理部40の記録部41等の記録領域が確保されている。このコントローラ100が実行する演算の具体的内容については図2中に示した機能ブロック図を利用して後述する。
The
また図2において本実施形態の油圧ショベル1は,エンジン57と,エンジン57の出力軸に機械的に連結されエンジン57によって駆動される油圧ポンプ56及びパイロットポンプ(図示せず)と,パイロットポンプから吐出される圧油を操作量に応じて減圧したもの(パイロット圧)を,各油圧アクチュエータ5−9の制御信号として比例電磁弁20を介してコントロールバルブ55に出力する操作レバー10,11と,操作レバー10,11が出力するパイロット圧の圧力値を検出して操作レバー10,11の操作量・操作方向を検出する複数の圧力センサ45と,油圧ポンプ56から各油圧アクチュエータ5−9に導入される作動油の流量及び方向を,操作レバー10,11又は比例電磁弁20から出力される制御信号(パイロット圧)に基づいて制御する複数のコントロールバルブ55と,各コントロールバルブ55に作用するパイロット圧の圧力値を検出する複数の圧力センサ58と,作業機1Aの位置・姿勢及びその他の車体情報に基づいて補正目標パイロット圧を算出し,その補正目標パイロット圧が発生可能な指令電圧を比例電磁弁20に出力するコントローラ100と,作業機1Aで形成する目標面の情報や撮影装置19に撮影された基準点SPの現場座標系座標等をコントローラ100に入力するための入力装置44を備えている。
In FIG. 2, the
油圧ポンプ56は,各油圧アクチュエータ5−8の目標出力の通りに車体が動作するよう,機械的にトルク・流量が制御されている。
The torque and flow rate of the
コントロールバルブ55は,制御対象の油圧アクチュエータ5−8と同数存在するが,図2ではそれらをまとめて1つで示している。各コントロールバルブには,その内部のスプールを軸方向の一方又は他方に移動させる2つのパイロット圧が作用している。例えば,ブームシリンダ5用のコントロールバルブ55には,ブーム上げのパイロット圧と,ブーム下げのパイロット圧が作用する。
Although there are the same number of
圧力センサ58は,各コントロールバルブ55に作用するパイロット圧を検出するもので,コントロールバルブの2倍の数が存在し得る。圧力センサ58は,コントロールバルブ55の直下に設けられており,実際にコントロールバルブ55に作用するパイロット圧を検出している。
The
比例電磁弁20は複数存在するが,図2中ではまとめて1つのブロックで示している。比例電磁弁20は2種類ある。1つは,操作レバー10,11から入力されるパイロット圧をそのまま出力又は指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する減圧弁で,もう1つは,操作レバー10,11の出力するパイロット圧より大きなパイロット圧が必要な場合にパイロットポンプから入力されるパイロット圧を指令電圧で指定される所望の補正目標パイロット圧まで減圧して出力する増圧弁である。或るコントロールバルブ55に対するパイロット圧に関して,操作レバー10,11から出力されているパイロット圧より大きなパイロット圧が必要な場合には増圧弁を介してパイロット圧を生成し,操作レバー10,11から出力されているパイロット圧より小さなパイロット圧が必要な場合には減圧弁を介してパイロット圧を生成し,操作レバー10,11からパイロット圧が出力されていない場合には増圧弁を介してパイロット圧を生成する。つまり,減圧弁と増圧弁により,操作レバー10,11から入力されるパイロット圧(オペレータ操作に基づくパイロット圧)と異なる圧力値のパイロット圧をコントロールバルブ55に作用させることができ,そのコントロールバルブ55の制御対象の油圧アクチュエータに所望の動作をさせることができる。
Although there are a plurality of
1つのコントロールバルブ55につき,減圧弁と増圧弁はそれぞれ最大で2つ存在し得る。例えば本実施形態では,ブームシリンダ5のコントロールバルブ55用に2つの減圧弁と2つの増圧弁が設けられている。具体的には,ブーム上げのパイロット圧を操作レバー11からコントロールバルブ55に導く第1管路に設けられた第1減圧弁と,ブーム上げのパイロット圧をパイロットポンプから操作レバー11を迂回してコントロールバルブ55に導く第2管路に設けられた第1増圧弁と,ブーム下げのパイロット圧を操作レバー11からコントロールバルブ55に導く第3管路に設けられた第2減圧弁と,ブーム下げのパイロット圧をパイロットポンプから操作レバー11を迂回してコントロールバルブ55に導く第4管路に設けられた第2増圧弁を油圧ショベル1は備えている。
There can be a maximum of two pressure reducing valves and two pressure increasing valves for one
本実施形態では,走行油圧モータ9a,9bと旋回油圧モータ8のコントロールバルブ55用の比例電磁弁20は存在しない。したがって,走行油圧モータ9a,9bと旋回油圧モータ8は,操作レバー10,11から出力されるパイロット圧に基づいて駆動される。
In the present embodiment, there is no
<コントローラ100の構成>
コントローラ100は,GNSSアンテナ17a,17bで受信した航法信号に基づいて撮影装置19の地理座標系座標を演算し,その演算した撮影装置19の地理座標系座標と,撮影装置19により基準点を撮影した画像と,撮影装置19の内部パラメータとに基づいて基準点の地理座標系座標を演算し,その演算した基準点の地理座標系座標と,基準点の現場座標系座標とに基づいて,地理座標系と現場座標系の相互の座標変換パラメータPr56,Pr65を較正(演算)する。図2において,コントローラ100は,位置姿勢検出部30と,較正部21と,情報処理部40とを備えている。以下,コントローラ100の構成の詳細を説明する。
<Configuration of
The
位置姿勢検出部30は,地理座標系における上部旋回体1BAの座標(第1GNSSアンテナ17a及び第2GNSSアンテナ17bの座標)を演算する地理座標系車体座標検出部31と,フロント作業機1Aや車体1Bの姿勢を演算する車体姿勢検出部32と,車体座標系Co4と地理座標系Co5の座標変換パラメータPr45,Pr54を演算する座標変換パラメータ演算部33とを備えている。本実施形態においてこれらの情報を取得するため,位置姿勢検出部30には,ブーム角度センサ12,アーム角度センサ13,バケット角度センサ14,車体前後傾斜角センサ16a,車体左右傾斜角センサ16b,第1GNSSアンテナ17a及び第2GNSSアンテナ17bが接続されている。
The position and
地理座標系車体座標検出部31は,複数のGNSS衛星から発信された電波(航法信号)が第1及び第2GNSSアンテナ17a,17bに受信されるまでに要した時間に基づいてそれぞれのアンテナ位置の緯度,経度及び高さ(楕円体高)を測定する。これにより3次元座標系である地理座標系(世界座標系)Co5における油圧ショベル1(上部旋回体1BA)の位置と方位を演算することができる。さらに地理座標系車体座標検出部31は,この演算結果に加えて,コントローラ100の記憶装置に記憶された撮影装置19と第1及び第2GNSSアンテナ17a,17bのそれぞれの距離を利用することで,地理座標系Co5にける撮影装置19の座標を演算する。その際,車体1Bが傾斜している場合には傾斜角θ,φを考慮することが好ましい。なお,第1及び第2GNSSアンテナ17a,17bの位置及び高さを専用の受信機(GNSS受信機)で演算し,演算結果をコントローラ100に出力する構成を採用しても良い。
The geographic coordinate system vehicle body coordinate detecting unit 31 detects the position of each antenna position based on the time required until radio waves (navigation signals) transmitted from a plurality of GNSS satellites are received by the first and
車体姿勢検出部32は,ブーム角度センサ12,アーム角度センサ13,バケット角度センサ14の情報から車体座標系Co4におけるブーム2,アーム3,バケット4の回動角度α,β,γを演算することで,車体座標系Co4におけるフロント作業機1Aの姿勢を演算する,また,車体姿勢検出部32は,車体前後傾斜角センサ16a,車体左右傾斜角センサ16bの情報から地理座標系Co5における前後方向の傾斜角θ(図3参照)及び左右方向の傾斜角φを演算することで,地理座標系Co5における車体の姿勢を演算する。車体座標系Co4と地理座標系Co5は相互に座標変換可能であるので,車体座標系におけるフロント作業機1Aの姿勢が特定できればフロント作業機1Aに設定された任意の制御点(例えばバケット爪先)の地理座標系座標も演算できる。なお,地理座標系車体座標検出部31で演算された油圧ショベル1(上部旋回体1BA)の方位は,車体座標系Co4のX軸が位置する。
The body
座標変換パラメータ演算部33は,位置姿勢検出部30及び地理座標系車体座標検出部31で演算された位置及び姿勢情報に基づいて車体座標系Co4と地理座標系Co5の相互の座標変換パラメータPr45,Pr54を演算し,車体1Bのキャビン内に設置されたコントローラ100に出力する。
Based on the position and orientation information calculated by the position /
較正部21は,撮影装置19が撮影した画像及び位置姿勢検出部30の出力する情報から基準点の地理座標系座標を演算し,その演算結果と基準点の現場座標系座標に基づいて座標変換パラメータPr56,Pr65を演算(較正)する。
The
較正部21は,基準点認識部22と,地理座標系基準点座標演算部23と,現場座標系基準点座標取得部24と,基準点情報記録部25と,座標変換パラメータ演算部26とを備えている。較正部21は,撮影装置19により撮影された画像と,位置姿勢検出部30により出力される車体座標系Co4と地理座標系Co5の座標変換パラメータPr45,Pr54と,入力装置44から出力される基準点の現場座標系Co6の座標情報とを入力とし,地理座標系Co5座標を現場座標系Co6座標に変換する座標変換パラメータを出力する。
The
基準点認識部22は,撮影装置19により撮影された画像に作業現場の基準点SPが写っているかどうかを,パターンマッチング等の画像処理技術を用いて判定する。
The reference
基準点SPとは,現場座標系Co6における座標が既知となっている点であり,作業現場の所定の位置に固定的に設置される任意の物体に記されている。通常は図4に示すように作業現場を取り囲むように複数の基準点SP1−SP12が設置される。基準点(SPn)は地面や壁面に取り付けられていてもよい。また基準点SPnとして設置される物体は,所定の大きさ,色,模様,形状,性質などの特徴を有する物体であり,杭や釘,マーカ等を含む。またここでいうマーカは,特定の波長の光を反射するマーカや特定の方向に光を反射するマーカ,AR(Augmented Reality)技術で用いられるARマーカやQRコード(商標登録)等二次元コードを含むマーカでもよい。 The reference point SP is a point whose coordinates in the site coordinate system Co6 are known, and is written on an arbitrary object fixedly installed at a predetermined position in the work site. Usually, a plurality of reference points SP1 to SP12 are provided so as to surround the work site as shown in FIG. The reference point (SPn) may be attached to the ground or the wall. The object set as the reference point SPn is an object having characteristics such as a predetermined size, color, pattern, shape, and property, and includes a pile, a nail, a marker, and the like. In addition, the marker referred to here is a marker that reflects light of a specific wavelength, a marker that reflects light in a specific direction, an AR marker used in AR (Augmented Reality) technology, and a two-dimensional code such as a QR code (registered trademark). May be included markers.
図5に基準点SPnが示された基準点表示具の一例を示す。図5の基準点表示具は,地面に打ち付けられた杭と,その杭の上に取り付けられた板を備える。板の表面には,基準点SP12の識別情報(12)と,基準点SP12の現場座標系Co6の座標(X=22.4,Y=48.0,H=101.2)と,基準点SP12の位置を示す三角形のマーカとが記されている。図5の三角形のマーカの下端が基準点SP12の位置である。図4の各基準点SP1−12には図5のような基準点表示具がそれぞれ設けられているものとする。基準点SPの識別情報や現場座標系座標はマーカに埋め込んでも良い。なお,後述する現場座標系基準点座標取得部24では,基準点表示具の板に記された基準点名や基準点の現場座標系座標を撮影装置19の撮影画像から読み取る。
FIG. 5 shows an example of the reference point indicator having the reference point SPn. The reference point indicator of FIG. 5 includes a stake struck on the ground and a plate mounted on the stake. On the surface of the plate, the identification information (12) of the reference point SP12, the coordinates (X = 22.4, Y = 48.0, H = 101.2) of the reference point SP12 in the field coordinate system Co6, and the reference point A triangular marker indicating the position of SP12 is described. The lower end of the triangular marker in FIG. 5 is the position of the reference point SP12. It is assumed that each reference point SP1-12 in FIG. 4 is provided with a reference point indicator as shown in FIG. The identification information of the reference point SP and the coordinates of the site coordinate system may be embedded in the marker. The on-site coordinate system reference point coordinate acquisition unit 24, which will be described later, reads the name of the reference point written on the plate of the reference point indicator and the on-site coordinate system coordinates of the reference point from the image captured by the
本実施形態の基準点認識部22は,図5に示した基準点表示具の三角形のマーカを利用して撮影装置19の撮影画像に基準点SPが写っているかどうかを判定する。具体的には,基準点認識部22は,エッジ検出等の画像処理プログラムを利用して撮影画像内で三角形のマーカが写った領域(三角形領域)を検出し,検出された三角形領域の形状とコントローラ100内の記憶装置に予め記憶された三角形のマーカ(テンプレートパターン)の形状とをパターンマッチングする。そして,基準点認識部22は,両者のマッチング率が所定のしきい値を超えた場合,撮影画像内で検出された三角形領域が三角形のマーカに該当し,撮影装置19の撮影画像に基準点SPが写っていると判定する。
The reference
地理座標系基準点座標演算部23は,撮影装置19により基準点SPを撮影した画像に画像処理を施すことで撮影装置19から基準点認識部22で認識した基準点SPまでの距離及び方位を演算し,その距離及び方位と,地理座標系車体座標検出部31で演算した撮影装置19の地理座標系座標とに基づいて,基準点認識部22で認識した基準点SPの地理座標系Co5における座標を演算する。
The geographical coordinate system reference point coordinate
まず,本実施形態では,地理座標系基準点座標演算部23は,基準点認識部22で認識された三角形領域のサイズや歪みを検知して,それを予め記憶された三角形のマーカ(テンプレートパターン)の形状及びサイズと比較することで撮影装置19と基準点SPの相対位置を演算する。サイズが既知のマーカを用いた距離や方向の推定は公知の方法で実現可能である。例えば,画像処理による輪郭線抽出を利用して3本のエッジに囲まれた三角形の頂点を撮影画像から抽出することでマーカ領域(三角形領域)を抽出する。抽出した領域を正規化し,パターンマッチングによりテンプレートパターンとの類似度が最大値をとる位置をマーカ(すなわち基準点SP)の位置とする。車体座標系Co4における撮影装置19の座標(位置)は既知なので,上記のように求まった撮影装置19と基準点SPの相対位置,すなわち,撮影装置19と基準点SPとの距離及び方位(ロール角,ピッチ角,方位角)から,車体座標系Co4における基準点SPの座標が演算できる。
First, in the present embodiment, the geographic coordinate system reference point coordinate
次に,地理座標系基準点座標演算部23は,車体座標系Co4における基準点SPの座標を地理座標系Co5における座標に変換する。この座標変換は,車体座標系Co4における基準点SPの座標に行列Mt45(すなわち,座標変換パラメータPr45)を乗算することで行うことができる。この行列Mt45は公知の方法で演算でき,例えば,ロール角,ピッチ角,方位角に基づいて座標を回転する回転行列となり得る。算出された地理座標系Co5における基準点SPの座標は基準点情報記録部25に出力される。
Next, the geographic coordinate system reference point coordinate
また,本実施形態ではパターンマッチングにより撮影装置19と基準点SPの距離と方向を演算したが,画像処理を利用して撮影装置19の撮影画像から基準点SPの距離と方向が求められる方法であれば他の方法でも構わない。例えば,撮影装置19として,互いの距離が既知の複数のカメラの撮影画像から視差画像を生成し基準点SPまでの距離を演算できる例えばステレオカメラを利用しても良い。
In this embodiment, the distance and direction between the photographing
現場座標系基準点座標取得部24は,地理座標系基準点座標演算部23で地理座標系Co5の座標が演算された基準点SPの現場座標系Co6における座標を取得する処理を実行する部分である。基準点SPの現場座標系Co6における座標を取得する方法には複数のパターンがあり,例えば,現場座標系基準点座標取得部24は撮影装置19の画像に含まれている基準点SPの現場座標系座標の情報を画像認識で読み取ることで取得できる。具体的には,図5の基準点表示具のように実際の数値が表示されている場合にはそれを画像認識を利用して読み取っても良いし,基準点表示具に基準点の現場座標系座標の情報が埋め込まれた二次元コードやマーカが表示されている場合には撮影装置19の撮影画像上でそれを探索して埋め込まれた現場座標系座標を読み込んでも良いし,図5の基準点表示具のように基準点SPの識別情報が表示されている場合にはそれを画像から読み取ってその識別情報に対応する基準点SPの現場座標系座標を基準点情報記録部25から読み込んでも良い。また,例えば表示モニタ18に基準点の現場座標系座標を入力するメッセージを表示して,入力装置44を介してオペレータに現場座標系座標を入力させても良い。なお,基準点の識別情報としては,基準点に固有に設定されたIDや名前,現場座標系座標がある。
The on-site coordinate system reference point coordinate acquisition unit 24 is a unit that executes a process of acquiring the coordinates in the on-site coordinate system Co6 of the reference point SP for which the coordinates of the geographic coordinate system Co5 have been calculated by the geographic coordinate system reference point coordinate
基準点情報記録部25は,基準点情報を記録する部分である。基準点情報には,地理座標系基準点座標演算部23で演算された基準点の地理座標系座標と,現場座標系基準点座標取得部24で取得された基準点の現場座標系座標とが含まれており,各基準点に固有に割り振られた識別情報(IDや名称)を含んでもよい。地理座標系基準点座標演算部23で演算された地理座標系Co4における基準点の座標を入力として基準点情報を記録し,現場座標系基準点座標取得部24や座標変換パラメータ演算部26に出力する。初期状態において基準点情報記録部25は,初期状態の座標変換パラメータ演算に使用された基準点情報を,入力装置44からの入力をもとに記録している。また施工途中に基準点が増減した場合は,入力装置44から該当する基準点の情報を追加あるいは削除する。
The reference point information recording unit 25 is a part that records reference point information. The reference point information includes the geographic coordinate system coordinates of the reference point calculated by the geographic coordinate system reference point coordinate
座標変換パラメータ演算部26は,基準点情報記録部25に記録された複数の基準点の地理座標系座標と現場座標系座標を用いて地理座標系Co5と現場座標系Co6の相互の座標変換パラメータPr56,Pr65を演算(較正)する。座標変換パラメータPr56,Pr65は公知の方法で演算することができ,例えば,平行移動行列,回転行列及び拡大縮小行列のうち少なくとも1つから構成される変換行列となる。座標変換パラメータP56の算出について簡単に触れると,例えば,地理座標系からの座標変換パラメータが既知の3次元直交座標系(例えば日本における平面直角座標系や地心直交座標系)における座標Bkに基準点の地理座標系座標を変換し,その変換後の座標をBk(Xk,Yk,Zk)とし,基準点の現場座標系座標をPk(xk,yk,zk)とすると,Bkは下記式のようにPkで表すことができる。ただし,下記式において,Poffsetは平行移動行列,Rは回転行列,Sは拡大縮小行列,δkは誤差を示し,これらが座標変換パラメータとなる。
Bk=Poffset+R・Pk+S・Pk+δk
The coordinate conversion
Bk = Poffset + R · Pk + S · Pk + δk
そして,地理座標系座標と現場座標系座標が基準点情報記録部25に記録されたn個(nは2以上)の基準点について,δk2の和が最小となるような座標変換パラメータを最小二乗法により求めることとなる。そして,その演算した座標変換パラメータと,最初に座標Bkへの変換に利用した座標変換パラメータとから座標変換パラメータPr56が演算できる。なお,座標変換パラメータPr56,Pr65の演算には,基準点情報記録部25に記録された複数の基準点の基準点情報を用いるが,すべての基準点情報を用いなくてもよい。 Then, for n (n is 2 or more) reference points in which the geographic coordinate system coordinates and the site coordinate system coordinates are recorded in the reference point information recording unit 25, a coordinate conversion parameter that minimizes the sum of δk 2 is minimized. It is determined by the square method. Then, the coordinate conversion parameter Pr56 can be calculated from the calculated coordinate conversion parameter and the coordinate conversion parameter used first for conversion to the coordinate Bk. Although the coordinate conversion parameters Pr56 and Pr65 are calculated using the reference point information of a plurality of reference points recorded in the reference point information recording unit 25, all the reference point information need not be used.
座標変換パラメータ演算部26が演算した座標変換パラメータPr56,65は情報処理部40に出力される。
The coordinate conversion parameters Pr56 and 65 calculated by the coordinate conversion
情報処理部40は,較正部21が出力する座標変換パラメータPr56をもとに,位置姿勢検出部30で出力される地理座標系における車体位置情報を現場座標系座標に変換し,車体姿勢情報と車体の現場座標系座標,入力装置44から入力される情報化施工データ,操作レバー10,11から入力される操作入力情報(圧力センサ45の検出値)に従ってオペレータに対する提示情報や運転支援のための制御情報を演算する。オペレータに対する提示情報は表示モニタ18に,運転支援のための制御情報は比例電磁弁20へ出力され,情報提示機能や運転支援機能を実現する。
The
情報処理部40は,記録部41,現場座標系座標変換部46,情報提示制御部42,運転支援制御部43とを備えている。情報処理部40は,較正部21,位置姿勢検出部30,入力装置44,圧力センサ45から情報を入力し,表示モニタ18及び比例電磁弁20に情報を出力する。
The
記録部41は,較正部21から入力される座標変換パラメータPr56と,入力装置44から入力される情報化施工データとを記録する。座標変換パラメータPr56は較正部21により較正された都度,記録部41に記録され,情報提示制御部42及び運転支援制御部43が実行する制御に利用される。なお,情報化施工データは,情報提示制御部42による情報提示機能と,運転支援制御部43による運転支援機能を提供するための3次元情報を持ったデータであり,例えば油圧ショベル1で施工する目標面形状データ(目標面データや,作業機械の進入禁止領域データを含む。いずれの情報化施工データもフロント作業機1Aの侵入が防止されるように油圧シリンダ5,6,7を制御するために利用される。
The
現場座標系座標変換部46は,位置姿勢検出部30から入力される地理座標系Co5における車体位置情報について,記録部41に記録された座標変換パラメータPr56をもとに現場座標系Po6の車体位置情報に変換する。位置姿勢検出部30から入力される車体位置情報としては,例えば,旋回体1BAの地理座標系座標と,姿勢センサ12−14,16によって検出されたフロント作業機1Aや車体1Bの姿勢情報とに基づいて,フロント作業機1Aに設定された制御点(例えばバケット爪先)の地理座標系座標がある。また,地理座標系における旋回体1BAの方位と,姿勢センサ16によって検出された車体1Bの姿勢情報とに基づいて,車体1Bに設定された制御点(例えば上部旋回体1BAの後端)の地理座標系座標がある。
The on-site coordinate system coordinate
情報提示制御部42は,現場座標系座標変換部46で現場座標系座標に変換された制御点の位置情報や情報化施工データをもとにオペレータに提示すべき表示情報を演算し,表示モニタ18に出力する。表示情報には例えば,フロント作業機1Aを側面視した画像や,目標面形状データのXZ平面における断面図(目標面),位置姿勢検出部30で検出される各種センサ値,バケット4の爪先(制御点)から目標面までの距離などを含んでもよい。
The information
運転支援制御部43は,現場座標系座標変換部46で現場座標系座標に変換された制御点の位置情報や情報化施工データをもとに,オペレータの運転を支援するように油圧シリンダ5,6,7を動作させるための制御信号を演算して比例電磁弁20に出力する。制御信号は,例えば目標面に対してフロント作業機1Aの制御点(例えばバケット爪先)が潜り込まないよう油圧シリンダ5,6,7の動きを制限したり,フロント作業機1Aを含む車体の制御点が障害物と衝突しないよう停止又は回避するよう油圧シリンダ5,6,7や走行油圧モータ9a,9bや旋回油圧モータ8の動きを制御したりする。
The driving
<コントローラの処理フロー>
次に,図6を参照しながら,コントローラ100(較正部21)が座標変換パラメータPr56を較正する処理の流れを説明する。なお,コントローラ100(較正部21)はこの座標変換パラメータ較正処理を所定の周期(例えば数分間隔)で繰り返し実行する。
<Controller processing flow>
Next, a flow of a process in which the controller 100 (the calibration unit 21) calibrates the coordinate conversion parameter Pr56 will be described with reference to FIG. The controller 100 (calibration unit 21) repeatedly executes the coordinate conversion parameter calibration process at a predetermined cycle (for example, at intervals of several minutes).
図6の処理を開始すると,ステップS1では,まず,コントローラ100(基準点認識部22)は撮影装置19が撮影した画像に対して画像認識を利用して画像内に基準点が存在するか否かを判定する。撮影装置19が撮影した画像内に基準点がなかった場合には処理を終了し,基準点が存在した場合は次のステップS2に進む。
When the process of FIG. 6 is started, in step S1, first, the controller 100 (reference point recognition unit 22) determines whether or not a reference point exists in an image captured by the
ステップS2では,コントローラ100(地理座標系基準点座標演算部23)は,撮影装置19及び位置姿勢検出部30から入力される情報に基づいて,ステップS1で利用した画像の撮影時刻における地理座標系Co5での基準点の座標を演算し,ステップS3に進む。
In step S2, the controller 100 (geographic coordinate system reference point coordinate calculation unit 23) uses the geographic coordinate system at the shooting time of the image used in step S1 based on the information input from the
ステップS3では,コントローラ100(現場座標系基準点座標取得部24)は,ステップS2において地理座標系Co5の座標を演算した基準点の現場座標系座標を取得してステップS4に進む。ステップS3では,具体的には,入力装置44でオペレータが直接入力を行う方法,基準点情報記録部25に記録された基準点のうちS2において演算した地理座標系座標から所定の範囲内の地理座標系座標を持つ基準点の現場座標系座標を取得する方法,撮影装置19で撮影した基準点の画像から情報を読み取り現場座標系座標を取得する方法,等により現場座標系座標を取得する。
In step S3, the controller 100 (site coordinate system reference point coordinate acquisition unit 24) acquires the site coordinate system coordinates of the reference point obtained by calculating the coordinates of the geographic coordinate system Co5 in step S2, and proceeds to step S4. In step S3, specifically, a method in which the operator directly inputs with the
ステップS4では,コントローラ100(較正部21)は,基準点情報記録部25において,ステップS2で演算した基準点の地理座標系座標と,ステップS3で取得した基準点の現場座標系座標との対応関係を更新し,ステップS5に進む。 In step S4, the controller 100 (calibration unit 21) stores, in the reference point information recording unit 25, the correspondence between the geographic coordinate system coordinates of the reference point calculated in step S2 and the on-site coordinate system coordinates of the reference point acquired in step S3. The relationship is updated, and the process proceeds to step S5.
ステップS5では,コントローラ100(座標変換パラメータ演算部26)は,基準点情報記録部25に記録された基準点の地理座標系座標と現場座標系座標をもとに,地理座標系と現場座標系の座標変換パラメータPr56(例えば,上記のPoffset(平行移動行列),R(回転行列),S(拡大縮小行列)及びδk(誤差))と座標変換パラメータPr65を演算し,これを情報処理部40の記録部41に記録して処理を終了する。
In step S5, the controller 100 (the coordinate conversion parameter calculation unit 26) uses the geographic coordinate system and the site coordinate system based on the geographic coordinate system coordinates and the site coordinate system coordinates of the reference point recorded in the reference point information recording unit 25. (For example, the above Poffset (translation matrix), R (rotation matrix), S (enlargement / reduction matrix) and δk (error)) and coordinate conversion parameter Pr65 are calculated, and this is processed by the
<作用・効果>
上記のようなコントローラ100と,撮影装置19と,GNSSアンテナ17a,17bとを備えたシステムでは,撮影装置19で基準点SPnを撮影することで基準点SPnの地理座標系座標が取得でき,衛星配置や電離層の状況などによりGNSSによる測位結果(地理座標系座標)に変動が生じても最新の状況での基準点SPnの地理座標系座標を容易に取得できる。これにより最新の地理座標系座標を利用して地理座標系Co5から現場座標系Co6への座標変換パラメータPr56を速やかに較正できるので,較正後の座標変換パラメータPr56を油圧ショベル1での制御に利用することで,油圧ショベル1の制御点の演算精度と油圧ショベル1による施工精度を向上できる。
<Action and effect>
In the system including the
また,上記のシステムにおいて,基準点表示具に基準点の現場座標系座標の情報が埋め込まれたマーカを表示しておき,そのマーカを撮影装置19で基準点SPnと共に撮影して画像処理により復元すれば,撮影装置19による撮影で基準点SPnの地理座標系座標だけでなく現場座標系座標も容易に取得できる。これにより座標変換パラメータPr56をより速やかに演算できる。
Further, in the above-mentioned system, a marker in which information of the coordinates of the reference point in the field coordinate system is embedded is displayed on the reference point display, and the marker is photographed by the photographing
また,撮影装置19の撮影範囲に基準点が常に含まれるように,コントローラ100が撮影装置19の向きを制御するように構成すれば,いつ撮影しても撮像装置19の撮影範囲に基準点が含まれることになる。そのため座標変換パラメータPr56を所望のタイミングで演算し易くなる。
Further, if the
また,上記の実施の形態では,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成るシステムを油圧ショベル1に搭載したので,較正後の座標変換パラメータPr56を速やかに油圧ショベル1のコントローラに出力することができ,その座標変換パラメータPr56を利用した制御を遅滞なく実施できる。これにより情報提示制御部42による表示モニタ18へのフロント作業機1Aの制御点(バケット爪先)と目標面の位置関係を正確に表示できるとともに,運転支援制御部43による油圧アクチュエータ5,6,7,8,9の制御精度を向上できる。
Further, in the above embodiment, since the system including the
<第2実施形態>
本実施形態のシステムを図7に示す。本実施形態と第1実施形態の主な違いとしては,情報記録サーバ101が追加されたこと,コントローラ100(100A)内に現場座標系基準点座標識別部104と座標変換パラメータ更新部47が追加されたこと,第1実施形態でコントローラ100内にあった基準点情報記録部25(25A)と座標変換パラメータ演算部26(26A)が情報記録サーバ101に移動していること,が挙げられる。
<Second embodiment>
FIG. 7 shows the system of the present embodiment. The main difference between the present embodiment and the first embodiment is that the
なお,第1実施形態と同じ部分は同じ符号を付して適宜説明を省略することがある。符号に添字で「A」を付した部分は第1実施形態と異なる処理を実行するように構成されている。図2に示したエンジン57,油圧ポンプ56,コントロールバルブ55,圧力センサ58及びアクチュエータ5,6,7,8,9は図示を省略している。
The same parts as those in the first embodiment are denoted by the same reference numerals, and the description may be appropriately omitted. The parts with the suffix “A” added to the reference numerals are configured to execute processing different from that of the first embodiment. The illustration of the
本実施形態のシステムは,図7に示すように,撮影装置19と,コントローラ100Aと,情報記録サーバ101,入力装置44と,圧力センサ45と,比例電磁弁20と,表示モニタ18とを備えている。このうち,情報記録サーバ101を除く,撮影装置19,コントローラ100A,入力装置44,圧力センサ45,比例電磁弁20及び表示モニタ18は,油圧ショベル1に搭載されている。
As shown in FIG. 7, the system according to the present embodiment includes an
<コントローラ(その1)>
コントローラ100Aは,データ取得部102と,情報処理部40Aと,位置姿勢検出部30を備えている。
<Controller (Part 1)>
The
データ取得部102は,基準点認識部22と,地理座標系基準点座標演算部23Aと,現場座標系基準点座標識別部104を備えている。
The
地理座標系基準点座標演算部23Aは,基準点認識部22で認識した基準点SPの地理座標系Co5における座標を演算し,その結果を情報記録サーバ101に出力する。
The geographic coordinate system reference point coordinate
現場座標系基準点座標識別部104は,地理座標系基準点座標演算部23Aで地理座標系Co5の座標が演算された基準点SPの識別情報(基準点識別情報)を取得して情報記録サーバ101に出力する。基準点識別情報を取得する方法には複数のパターンがあり,例えば,現場座標系基準点座標識別部104は撮影装置19の画像に含まれている基準点識別情報を画像認識で読み取ることで取得できる。具体的には,図5の基準点表示具のように基準点識別情報(12)が表示されている場合にはそれを画像から読み取ってその識別情報を出力しても良い。また,基準点として二次元コードを含むマーカを使用している場合など,基準点の形状や模様に基準点識別情報を持たせている場合には,撮影装置19が撮影した画像からその情報を画像認識により認識してもよい。また,例えば表示モニタ18に基準点識別情報を入力するメッセージを表示して,入力装置44を介してオペレータに基準点識別情報を入力させても良い。基準点識別情報としては,基準点に固有に設定されたIDや名前,現場座標系座標がある。図5のように基準点表示具に現場座標系座標情報を持たせた場合,基準点情報記録部25に記録された基準点情報のうち,現場座標系座標が一致する基準点の基準点識別情報を取得すればよい。
The on-site coordinate system reference point coordinate
<情報記録サーバ>
情報記録サーバ101は,例えば或る作業現場で稼働する複数の油圧ショベル1を管理する管理センターの建屋内に設置されており,その複数の油圧ショベル1のコントローラ100Aと無線通信ネットワークを介して相互通信可能に接続されている。情報記録サーバ101は,処理装置(例えばCPU)と,その処理装置が実行するプログラムが格納された記憶装置(例えばROM,RAM等の半導体メモリ)を有するコンピュータである。情報記録サーバ101内の記憶装置(ROM,RAM等)には,基準点情報記録部25Aや座標変換パラメータ記録部103等の記録領域が確保されている。情報記録サーバ101は,基準点情報記録部25Aと,座標変換パラメータ演算部26と,座標変換パラメータ記録部103を備えている。なお,本実施形態では,コントローラ100A内のデータ取得部102と情報記録サーバ101とが,地理座標系を現場座標系に変換する座標変換パラメータPr56を演算する較正部(第1実施形態における較正部21)として機能している。
<Information recording server>
The
基準点情報記録部25Aは,地理座標系基準点座標演算部23Aで演算された地理座標系Co5における基準点の座標と,現場座標系基準点座標識別部104で取得された基準点識別情報とを1組の基準点情報として記録する。基準点情報記録部25Aには,各基準点の現場座標系Co6における座標と基準点識別情報が記録されており,現場座標系基準点座標識別部104から入力された基準点識別情報をキーにしてその基準点の現場座標系における座標を取得できるようになっている。これにより基準点情報記録部25Aは,地理座標系基準点座標演算部23で演算された基準点の地理座標系座標と,現場座標系基準点座標識別部104で取得された基準点識別情報に加えて,その基準点識別情報を有する基準点の現場座標系座標をも1組の基準点情報として記録できる。
The reference point
座標変換パラメータ演算部26Aは,基準点情報記録部25Aに記録された基準点の地理座標系座標に変化があった場合(すなわち,コントローラ100Aから送信された基準点の地理座標系座標がその送信直前に基準点情報記録部25Aに記録されているデータと異なる場合),その基準点の地理座標系座標と現場座標系座標を用いて地理座標系Co5と現場座標系Co6の相互の座標変換パラメータPr56,Pr65を演算(較正)する。座標変換パラメータ演算部26Aが演算した座標変換パラメータPr56,65は座標変換パラメータ記録部103に出力される。
The coordinate conversion
座標変換パラメータ記録部103は座標変換パラメータ演算部26Aで演算された座標変換パラメータをその演算時刻(すなわち更新時刻)とともに記録する。
The coordinate conversion
<コントローラ(その2)>
情報処理部40Aは,記録部41と,座標変換パラメータ更新部47と,現場座標系座標変換部46と,情報提示制御部42と,運転支援制御部43とを備えている。
<Controller (Part 2)>
The
座標変換パラメータ更新部47は,所定の時間間隔で情報記録サーバ101の座標変換パラメータ記録部103に記録された座標変換パラメータが更新されたかどうかを確認し,更新されていた場合には情報記録サーバ101の座標変換パラメータ記録部103に記録された最新の座標変換パラメータを取得し,記録部41に出力する。
The coordinate conversion
記録部41は,座標変換パラメータ更新部47から入力される座標変換パラメータPr56と,入力装置44から入力される情報化施工データとを記録する。座標変換パラメータPr56は情報提示制御部42及び運転支援制御部43が実行する制御に利用される。
The
<コントローラと情報記録サーバの処理フロー>
次に,図8,9,10を参照しながら,コントローラ100Aのデータ取得部102と,情報記録サーバ101と,コントローラ100Aの情報処理部40Aが座標変換パラメータPr56を較正し,情報処理部40Aの記録部41に記録された座標変換パラメータPr56を更新する処理の流れを説明する。なお,これらの処理は所定の周期(例えば数分間隔)で繰り返し実行される。
<Processing flow of controller and information recording server>
Next, referring to FIGS. 8, 9, and 10, the
まず,図8を用いてコントローラ100Aのデータ取得部102における処理を説明する。
First, the processing in the
図8の処理を開始すると,ステップS101では,まず,コントローラ100A(基準点認識部22)は撮影装置19が撮影した画像に対して画像認識を利用して画像内に基準点が存在するか否かを判定する。撮影装置19が撮影した画像内に基準点がなかった場合には処理を終了し,基準点が存在した場合ステップS102に進む。
When the process of FIG. 8 is started, in step S101, first, the
ステップS102では,コントローラ100A(地理座標系基準点座標演算部23)は,ステップS101で利用した画像に画像処理を施すことで撮影装置19から基準点SPまでの距離及び方位を演算し,その距離及び方位と,地理座標系車体座標検出部31で演算した撮影装置19の地理座標系座標とに基づいて,その画像の撮影時刻における地理座標系Co5での基準点の座標を演算し,ステップS103に進む。
In step S102, the
ステップS103では,コントローラ100A(現場座標系基準点座標識別部104)は,S102において地理座標系座標を演算した基準点の基準点識別情報を取得してステップS104に進む。具体的には,入力装置44でオペレータが直接入力を行う方法,基準点情報記録部25に記録された基準点のうちS102において演算した地理座標系座標から所定の範囲内の地理座標系座標を持つ基準点の基準点識別情報を取得する方法,撮影装置19で撮影した基準点の画像から情報を読み取り基準点識別情報を取得する方法等により基準点の現場座標系座標を取得する。
In step S103, the
ステップS104では,コントローラ100A(データ取得部102)は,ステップS102で演算した基準点の地理座標系座標と,ステップS103で取得した基準点識別情報とを対応付けて,情報記録サーバ101(基準点情報記録部25A)に送信して処理を終了する。
In step S104, the
次に図9を用いて情報記録サーバ101における処理を説明する。
Next, processing in the
図9の処理を開始すると,ステップS204では,まず情報記録サーバ101(基準点情報記録部25A)は,コントローラ100A(データ取得部102)から送信された基準点の識別情報及び地理座標系座標を受信し,コントローラ100A(データ取得部102)で認識された基準点の地理座標系座標を記録し,ステップS205に進む。
When the process of FIG. 9 is started, in step S204, the information recording server 101 (reference point
ステップS205では,情報記録サーバ101はステップS204で基準点情報記録部25Aに記録された基準点の地理座標系座標が,直前に記録されていた座標と異なる座標に更新された場合にはステップS6に進み,更新されない場合には処理を終了する。
In step S205, the
ステップS206では,情報記録サーバ101(座標変換パラメータ演算部26)は,ステップS204で地理座標系座標を受信した基準点の現場座標系座標を基準点情報記録部25Aから取得し,その基準点の地理座標系座標と現場座標系座標に基づいて地理座標系Co5を現場座標系Co6に変換する座標変換パラメータPr56を演算する。
In step S206, the information recording server 101 (the coordinate conversion parameter calculation unit 26) acquires from the reference point
ステップS207では,情報記録サーバ101は,ステップS206で演算された座標変換パラメータPr56を座標変換パラメータ記録部103に記録して処理を終了する。
In step S207, the
次に図10を用いてコントローラ100A(情報処理部40A)における処理を説明する。
Next, processing in the
図10の処理を開始すると,ステップS308では,コントローラ100A(座標変換パラメータ更新部47)は所定の時間間隔で情報記録サーバ101の座標変換パラメータ記録部103に記録された座標変換パラメータPr56が更新されたかどうかを確認する。具体的にはコントローラ100Aが情報記録サーバ101に座標変換パラメータPr56の更新の有無を問い合わせる信号を送信し,情報記録サーバ101から送信される回答の信号を基に更新の有無を判断する。なお,情報記録サーバ101から所定の時間間隔で更新の有無を通知する信号をコントローラ100Aが受信することで更新の有無を判断しても良い。座標変換パラメータPr56が更新されていた場合にはステップS309に進み,更新されていない場合には処理を終了する。
When the process of FIG. 10 is started, in step S308, the
ステップS309では,コントローラ100A(座標変換パラメータ更新部47)は,情報記録サーバ101に対して座標変換パラメータ記録部103に記録された最新の座標変換パラメータPr56を送信するように指令し,コントローラ100Aは情報記録サーバ101から送信された座標変換パラメータPr56を記録部41(ROM,RAM等の記憶装置)に記憶して処理を終了する。
In step S309, the
<作用・効果>
以上の構成では,作業現場に存在する複数の油圧ショベル1のコントローラ100Aと,情報記録サーバ101とをネットワークで接続し,各コントローラ100Aから少なくとも基準点の地理座標系座標と基準点識別情報を情報記録サーバ101に送信している。そして,各コントローラ100Aから送信される基準点の地理座標系座標に変化があった場合,情報記録サーバ101は,その基準点の地理座標系座標と現場座標系座標に基づいて座標変換パラメータPr56を演算し,その座標変換パラメータPr56を情報記録サーバ101内の座標変換パラメータ記録部103に記録してデータの更新を行う。各コントローラ100Aは,座標変換パラメータPr56の更新の有無を所定の間隔で情報記録サーバ101に問合せており,更新の有ったときには情報記録サーバ101から最新の座標変換パラメータPr56をダウンロードし,最新の座標変換パラメータPr56を情報提示制御部42及び運転支援制御部43における制御に利用できる。
<Action and effect>
In the above configuration, the
これにより,作業現場で稼働中の複数の油圧ショベル1の中に基準点(基準点表示具)が撮影装置19で撮影できない油圧ショベル(例えば図4の第2油圧ショベル)が存在し,その撮影不可能期間に衛星配置が変化して地理座標系座標(衛星測位結果)に変動が生じたときでも,その期間内にいずれかの基準点(基準点表示具)を撮影できた他の油圧ショベル(例えば図4の第1油圧ショベル)が取得した地理座標系座標に基づいて情報記録サーバ101が較正した座標変換パラメータPr56をダウンロードできる。すなわち,或る油圧ショベル1が基準点を撮影できない状況にあっても,基準点を撮影可能な他の油圧ショベル1からの情報に基づいて更新(較正)した座標変換パラメータPr56を速やかに利用可能になるので,作業現場で稼働する油圧ショベル全体の制御点の演算精度と施工精度を向上できる。
Accordingly, there is a hydraulic excavator (for example, the second hydraulic excavator in FIG. 4) in which a reference point (reference point indicator) cannot be photographed by the photographing
また,上記の実施形態では,基準点の現場座標系座標を情報記録サーバ101で一元管理しているので,油圧ショベル1側では基準点の現場座標系座標を登録又は記憶する必要がなくなり,ユーザやオペレータの操作負担を軽減できる。
Also, in the above embodiment, since the
また,上記の実施形態では,情報記録サーバ101から座標変換パラメータPr56が較正されたことが各油圧ショベル1のコントローラ100Aに通知されたとき,各油圧ショベル1のコントローラ100Aは,その較正された前記座標変換パラメータPr56を受信し,その受信した座標変換パラメータPr56を利用して制御点の座標変換を行うこととしている。これにより座標変換パラメータPr56に更新があった場合には,各油圧ショベル1のコントローラ100Aに速やかにダウンロードされるので,各種制御に即座に利用することができる。
In the above embodiment, when the
<その他>
なお,本発明は,上記の各実施の形態に限定されるものではなく,その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば,本発明は,上記の実施の形態で説明した全ての構成を備えるものに限定されず,その構成の一部を削除したものも含まれる。また,ある実施の形態に係る構成の一部を,他の実施の形態に係る構成に追加又は置換することが可能である。
<Others>
It should be noted that the present invention is not limited to the above embodiments, and includes various modifications without departing from the gist thereof. For example, the present invention is not limited to one having all the configurations described in the above embodiment, but also includes one in which a part of the configuration is deleted. Further, a part of the configuration according to one embodiment can be added to or replaced by the configuration according to another embodiment.
例えば,上記の第1実施形態では,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bとを備えた座標変換システムを油圧ショベル1に搭載した実施形態について説明したが,これの構成は必須の事項ではない。すなわち,油圧ショベル1とは別に,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成る座標変換システムを設け,そこで演算した座標変換パラメータを油圧ショベル1に送信するようにシステムを構成しても良い。第2実施形態でも同様であり,コントローラ100と,撮影装置19と,GNSSアンテナ17a,17bから成る座標変換システムを作業現場内に複数設け,そこで演算した座標変換パラメータを情報記録サーバ−101に送信するようにシステムを構成しても良い。
For example, in the first embodiment described above, the embodiment in which the coordinate conversion system including the
第2実施形態では,情報記録サーバ101側に基準点情報記録部25Aと座標変換パラメータ演算部26Aを設けたが,これらを第1実施形態と同様にコントローラ100A側に設けても良い。すなわちコントローラ100A側で座標変換パラメータPr56を演算し,その座標変換パラメータPr56のみを情報記録サーバ101に送信して座標変換パラメータ記録部103に記録する構成を採用しても良い。
In the second embodiment, the reference point
また,第2実施形態では,コントローラ100Aからは基準点の現場座標系座標を含まない識別情報(基準点識別情報)を情報記録サーバ101に送信したが,基準点識別情報に代えて第1実施形態と同様に基準点の現場座標系座標を送信する構成を採用しても良い。
In the second embodiment, the
また,第2実施形態では,基準点の地理座標系の変化の有無を情報記録サーバ101側(座標変換パラメータ演算部26A)で判断したが,各油圧ショベル1のコントローラ100Aの地理座標系基準点座標演算部23Aで変化の有無を判断し,変化があった場合にのみ地理座標系座標を情報記録サーバ101に送信するようにシステムを構成しても良い。
In the second embodiment, the information recording server 101 (the coordinate conversion
なお,上記の各実施形態では,各油圧ショベル1は最終的に現場座標系座標に基づいて情報提示制御部や運転支援制御部による各種制御を行うこととしたが,最終的に地理座標系座標に基づいて各種制御を実行しても良い。すなわち,地理座標系Co5を現場座標系Co6に変換する座標変換パラメータPr56だけでなく,現場座標系Co6を地理座標系Co5に変換する座標変換パラメータPr65を利用するようにシステム構成しても良い。
In each of the above embodiments, each
また,上記のコントローラ100,100Aやサーバ101に係る各構成や当該各構成の機能及び実行処理等は,それらの一部又は全部をハードウェア(例えば各機能を実行するロジックを集積回路で設計する等)で実現しても良い。また,上記のコントローラ100,100Aやサーバ101に係る構成は,演算処理装置(例えばCPU)によって読み出し・実行されることで当該コントローラ・サーバの構成に係る各機能が実現されるプログラム(ソフトウェア)としてもよい。当該プログラムに係る情報は,例えば,半導体メモリ(フラッシュメモリ,SSD等),磁気記憶装置(ハードディスクドライブ等)及び記録媒体(磁気ディスク,光ディスク等)等に記憶することができる。
In addition, the components related to the
また,上記の各実施の形態の説明では,制御線や情報線は,当該実施の形態の説明に必要であると解されるものを示したが,必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。 Further, in the description of each of the above embodiments, the control lines and the information lines are understood to be necessary for the description of the embodiment, but all the control lines and the information lines related to the product are not necessarily required. Does not necessarily mean that In fact, it can be considered that almost all components are interconnected.
1…油圧ショベル(作業機械),1A…作業機(フロント作業機),1B…車体,1BA…上部旋回体,1BB…下部走行体,2…ブーム,3…アーム,4…バケット,5…ブームシリンダ,6…アームシリンダ,7…バケットシリンダ,10,11…操作レバー,12…ブーム角度センサ(姿勢センサ),13…アーム角度センサ(姿勢センサ),14…バケット角度センサ(姿勢センサ),16…傾斜角センサ(姿勢センサ),17…GNSSアンテナ,18…表示モニタ(表示装置),19…撮影装置,20…比例電磁弁,100…コントローラ,101…情報記録サーバ
DESCRIPTION OF
Claims (9)
前記基準点を撮影する撮影装置と,
航法信号を受信するGNSSアンテナとを備え,
前記コントローラは,
前記GNSSアンテナで受信される航法信号と,前記撮影装置と前記GNSSアンテナとの距離とに基づいて前記撮影装置の地理座標系座標を演算し,
前記撮影装置により前記基準点を撮影した画像に画像処理を施すことで前記撮影装置から前記基準点までの距離及び方位を演算し,
その演算した前記撮影装置から前記基準点までの距離及び方位と,前記演算した前記撮影装置の地理座標系座標とに基づいて,前記基準点の地理座標系座標を演算し,
その演算した前記基準点の地理座標系座標と,前記基準点の現場座標系座標とに基づいて前記座標変換パラメータを較正することを特徴とする座標変換システム。 A controller is provided for converting the geographic coordinate system coordinates of an arbitrary point into the site coordinate system coordinates using the geographic coordinate system coordinates of the reference point installed at the work site and the coordinate conversion parameters generated based on the site coordinate system coordinates. In the coordinate transformation system,
A photographing device for photographing the reference point,
A GNSS antenna for receiving navigation signals,
The controller is
Calculating a geographic coordinate system coordinate of the imaging device based on a navigation signal received by the GNSS antenna and a distance between the imaging device and the GNSS antenna;
By performing image processing on an image of the reference point captured by the imaging device, the distance and the azimuth from the imaging device to the reference point are calculated,
Calculating the geographic coordinate system coordinates of the reference point based on the calculated distance and orientation from the imaging device to the reference point and the calculated geographic coordinate system coordinates of the imaging device;
A coordinate conversion system, wherein the coordinate conversion parameters are calibrated based on the calculated geographic coordinate system coordinates of the reference point and the coordinates of the reference point on site.
前記基準点の現場座標系座標の情報が前記基準点に設置されたマーカに埋め込まれており,
前記撮影装置は,前記基準点と共に前記マーカを撮影し,
前記コントローラは,前記撮影装置により前記基準点と前記マーカを撮影した画像に基づいて前記基準点の現場座標系を取得することを特徴とする座標変換システム。 The coordinate transformation system according to claim 1,
Information of the coordinates of the reference point on site is embedded in a marker installed at the reference point;
The photographing device photographs the marker together with the reference point,
The coordinate conversion system according to claim 1, wherein the controller obtains an on-site coordinate system of the reference point based on an image of the reference point and the marker captured by the imaging device.
前記コントローラは,前記コントローラが演算した前記基準点の地理座標系座標と,前記基準点の識別情報とを対応付けて,前記コントローラにネットワークを介して接続されたサーバに出力することを特徴とする座標変換システム。 The coordinate transformation system according to claim 1,
The controller associates the geographic coordinate system coordinates of the reference point calculated by the controller with identification information of the reference point, and outputs the information to a server connected to the controller via a network. Coordinate transformation system.
前記コントローラは,前記座標変換パラメータが前記コントローラにより較正された際,その較正された前記座標変換パラメータを利用して座標変換を行うことを特徴とする座標変換システム。 The coordinate transformation system according to claim 1,
The coordinate conversion system, wherein the controller performs coordinate conversion using the calibrated coordinate conversion parameters when the coordinate conversion parameters are calibrated by the controller.
前記撮影装置は上下左右に回動可能であり,
前記コントローラは,前記撮影装置の撮影範囲に前記基準点が常に含まれるように前記撮影装置の向きを制御することを特徴とする座標変換システム。 The coordinate transformation system according to claim 1,
The photographing device can rotate up, down, left and right,
The controller according to claim 1, wherein the controller controls an orientation of the photographing device so that the reference point is always included in a photographing range of the photographing device.
前記GNSSアンテナが取り付けられた旋回体と,
前記旋回体に取り付けられ油圧シリンダによって駆動される作業機と,
前記作業機の姿勢を検出する姿勢センサとを備え,
前記コントローラは,
前記GNSSアンテナで受信された航法信号に基づいて前記旋回体の地理座標系座標を演算し,
前記旋回体の地理座標系座標と,前記姿勢センサによって検出された前記作業機械の姿勢情報とに基づいて,前記作業機に設定された制御点の地理座標系座標を演算し,
前記コントローラによって較正された前記座標変換パラメータを利用して前記制御点の地理座標系座標を現場座標系座標に変換し,
現場座標系座標における前記制御点と所定の目標面の位置関係をモニタに表示させることを特徴とする作業機械。 A work machine provided with the coordinate conversion system according to claim 1,
A revolving structure to which the GNSS antenna is attached;
A working machine mounted on the revolving unit and driven by a hydraulic cylinder;
A posture sensor for detecting the posture of the work machine,
The controller is
Calculating the geographic coordinate system coordinates of the revolving superstructure based on the navigation signal received by the GNSS antenna;
Calculating geographic coordinate system coordinates of a control point set in the work machine based on the geographic coordinate system coordinates of the revolving structure and posture information of the work machine detected by the posture sensor;
Using the coordinate conversion parameters calibrated by the controller to convert the geographic coordinate system coordinates of the control point into site coordinate system coordinates;
A work machine characterized by displaying on a monitor a positional relationship between the control point and a predetermined target plane in the coordinates of a site coordinate system.
前記コントローラは,前記目標面の上方に前記作業機が位置するように前記油圧シリンダを制御することを特徴とする作業機械。 7. The work machine according to claim 6,
The work machine, wherein the controller controls the hydraulic cylinder so that the work machine is located above the target surface.
前記コントローラは,前記コントローラが演算した前記基準点の地理座標系座標と,前記基準点の識別情報とを対応付けて,前記コントローラにネットワークを介して接続されたサーバに出力することを特徴とする座標変換システム。 7. The work machine according to claim 6,
The controller associates the geographic coordinate system coordinates of the reference point calculated by the controller with identification information of the reference point, and outputs the information to a server connected to the controller via a network. Coordinate transformation system.
前記コントローラは,前記基準点の地理座標系座標が更新されたときに前記基準点の地理座標系座標と前記現場座標系座標から前記座標変換パラメータを較正する前記サーバから前記座標変換パラメータが較正されたことが通知されたとき,前記較正された前記座標変換パラメータを受信し,その受信した座標変換パラメータを利用して前記制御点の座標変換を行うことを特徴とする座標変換システム。 9. The work machine according to claim 8,
The controller is configured to calibrate the coordinate conversion parameters from the geographic coordinate system coordinates of the reference point and the site coordinate system coordinates when the geographic coordinate system coordinates of the reference point are updated. A coordinate conversion system receiving the calibrated coordinate conversion parameter and performing coordinate conversion of the control point using the received coordinate conversion parameter.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178039A JP7301514B2 (en) | 2018-09-21 | 2018-09-21 | Coordinate transformation system and working machine |
KR1020217006044A KR102501073B1 (en) | 2018-09-21 | 2019-06-06 | Coordinate conversion system and working machine |
PCT/JP2019/022620 WO2020059220A1 (en) | 2018-09-21 | 2019-06-06 | Coordinate conversion system and work machine |
US17/274,923 US11906641B2 (en) | 2018-09-21 | 2019-06-06 | Work machine |
CN201980057605.5A CN112673284A (en) | 2018-09-21 | 2019-06-06 | Coordinate conversion system and working machine |
EP19862831.5A EP3855217B1 (en) | 2018-09-21 | 2019-06-06 | Coordinate conversion system and work machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178039A JP7301514B2 (en) | 2018-09-21 | 2018-09-21 | Coordinate transformation system and working machine |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020051029A true JP2020051029A (en) | 2020-04-02 |
JP2020051029A5 JP2020051029A5 (en) | 2021-10-21 |
JP7301514B2 JP7301514B2 (en) | 2023-07-03 |
Family
ID=69886904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018178039A Active JP7301514B2 (en) | 2018-09-21 | 2018-09-21 | Coordinate transformation system and working machine |
Country Status (6)
Country | Link |
---|---|
US (1) | US11906641B2 (en) |
EP (1) | EP3855217B1 (en) |
JP (1) | JP7301514B2 (en) |
KR (1) | KR102501073B1 (en) |
CN (1) | CN112673284A (en) |
WO (1) | WO2020059220A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023011454A (en) * | 2021-07-12 | 2023-01-24 | 東亜道路工業株式会社 | Three-dimensional design data creation method, construction work method, three-dimensional design data creation system, and three-dimensional design data creation program |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7178854B2 (en) * | 2018-09-28 | 2022-11-28 | 株式会社小松製作所 | Systems and methods for work machines |
CN112380663A (en) * | 2020-04-13 | 2021-02-19 | 青岛慧拓智能机器有限公司 | Method for calculating designated loading point of electric shovel |
US11609562B2 (en) * | 2020-04-27 | 2023-03-21 | Deere & Company | Using generated markings for vehicle control and object avoidance |
CN112634354B (en) * | 2020-12-21 | 2021-08-13 | 紫清智行科技(北京)有限公司 | Road side sensor-based networking automatic driving risk assessment method and device |
CN117377805A (en) * | 2021-05-26 | 2024-01-09 | 诺瓦特伦有限公司 | Method for determining the position and orientation of an earth moving machine in a worksite |
CN113624231B (en) * | 2021-07-12 | 2023-09-12 | 北京自动化控制设备研究所 | Inertial vision integrated navigation positioning method based on heterogeneous image matching and aircraft |
US11746499B1 (en) * | 2022-05-10 | 2023-09-05 | AIM Intelligent Machines, Inc. | Hardware component configuration for autonomous control of powered earth-moving vehicles |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10291187A (en) * | 1997-04-16 | 1998-11-04 | Kajima Corp | Remote execution assisting image system |
JP2001055762A (en) * | 1999-08-13 | 2001-02-27 | Hitachi Constr Mach Co Ltd | Automatic-operation construction machine and calibrating method for its position measuring means |
JP2003333590A (en) * | 2002-05-16 | 2003-11-21 | Komatsu Ltd | System for generating image at site |
JP2012202061A (en) * | 2011-03-24 | 2012-10-22 | Komatsu Ltd | Calibration system and calibration method for hydraulic shovel |
JP2013124954A (en) * | 2011-12-15 | 2013-06-24 | Kajima Corp | Method and system for measuring shape of civil engineering structure |
US20140277956A1 (en) * | 2013-03-15 | 2014-09-18 | Novatel Inc. | System and method for heavy equipment navigation and working edge positioning |
JP5807120B1 (en) * | 2014-06-04 | 2015-11-10 | 株式会社小松製作所 | Work machine attitude calculation device, work machine, and work machine attitude calculation method |
JP5893144B1 (en) * | 2014-06-04 | 2016-03-23 | 株式会社小松製作所 | Work machine attitude calculation device, work machine, and work machine attitude calculation method |
WO2016148309A1 (en) * | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | Calibration system, and calibration method for work machine |
JP2017015598A (en) * | 2015-07-02 | 2017-01-19 | 株式会社トプコン | Geodetic data processing device, geodetic data processing method, and geodetic data processing program |
JP2018510373A (en) * | 2015-02-10 | 2018-04-12 | モービルアイ ビジョン テクノロジーズ リミテッド | Sparse map for autonomous vehicle navigation |
JP2018128397A (en) * | 2017-02-09 | 2018-08-16 | 株式会社小松製作所 | Position measurement system, work machine, and position measurement method |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1452651A1 (en) * | 2001-06-20 | 2004-09-01 | Hitachi Construction Machinery Co., Ltd. | Remote control system and remote setting system of construction machinery |
JP4077385B2 (en) * | 2003-09-19 | 2008-04-16 | コマツエンジニアリング株式会社 | Global coordinate acquisition device using image processing |
US7242791B2 (en) * | 2005-01-04 | 2007-07-10 | Deere & Company | Method and system for guiding a vehicle with vision enhancement |
JP2007164383A (en) * | 2005-12-13 | 2007-06-28 | Matsushita Electric Ind Co Ltd | Marking system for photographing object |
US7865285B2 (en) | 2006-12-27 | 2011-01-04 | Caterpillar Inc | Machine control system and method |
JP5227139B2 (en) * | 2008-11-12 | 2013-07-03 | 株式会社トプコン | Construction machinery |
JP2010135642A (en) | 2008-12-05 | 2010-06-17 | Tokyo Electron Ltd | Substrate inspection method and storage medium |
JP5240527B2 (en) * | 2010-11-25 | 2013-07-17 | アイシン精機株式会社 | Car camera calibration apparatus, method, and program |
US9617709B2 (en) * | 2015-02-02 | 2017-04-11 | Komatsu Ltd. | Work vehicle and method of controlling work vehicle |
JP6777375B2 (en) * | 2015-03-05 | 2020-10-28 | 株式会社小松製作所 | Work machine image display system, work machine remote control system and work machine |
DE112015000031B4 (en) * | 2015-03-27 | 2017-03-02 | Komatsu Ltd. | Calibration apparatus for a construction machine and method for calibrating a work equipment parameter for a construction machine |
KR101859263B1 (en) | 2015-06-29 | 2018-05-18 | 가부시키가이샤 고마쓰 세이사쿠쇼 | Construction machine control system and construction machine control method |
EP3343171B1 (en) * | 2015-08-26 | 2024-01-17 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Measurement device for a shovel |
CN106568430A (en) * | 2015-10-09 | 2017-04-19 | 张琳俐 | Positioning method of earth moving system and device thereof |
JP6887229B2 (en) * | 2016-08-05 | 2021-06-16 | 株式会社小松製作所 | Construction management system |
CN109716058B (en) * | 2016-10-31 | 2021-05-14 | 株式会社小松制作所 | Measurement system, work machine, and measurement method |
US10094662B1 (en) * | 2017-03-28 | 2018-10-09 | Trimble Inc. | Three-dimension position and heading solution |
CN110249203B (en) * | 2017-09-01 | 2022-03-15 | 株式会社小松制作所 | Work machine surveying system, work machine, and work machine surveying method |
CN111226009B (en) * | 2018-09-25 | 2022-03-04 | 日立建机株式会社 | External shape measuring system for working machine, external shape display system for working machine, control system for working machine, and working machine |
JP7165638B2 (en) * | 2019-09-25 | 2022-11-04 | 日立建機株式会社 | working machine |
JP7463530B2 (en) * | 2020-01-28 | 2024-04-08 | トプコン ポジショニング システムズ, インク. | System and method for controlling equipment on a machine tool using machine viewpoint |
JP6966108B2 (en) * | 2020-03-18 | 2021-11-10 | Totalmasters株式会社 | Positioning calibration method for construction work machines and its positioning calibration controller |
JP7195663B1 (en) * | 2021-10-15 | 2022-12-26 | Totalmasters株式会社 | Construction machine display method, construction machine display control system, and construction machine display control program |
-
2018
- 2018-09-21 JP JP2018178039A patent/JP7301514B2/en active Active
-
2019
- 2019-06-06 KR KR1020217006044A patent/KR102501073B1/en active IP Right Grant
- 2019-06-06 US US17/274,923 patent/US11906641B2/en active Active
- 2019-06-06 WO PCT/JP2019/022620 patent/WO2020059220A1/en active Search and Examination
- 2019-06-06 EP EP19862831.5A patent/EP3855217B1/en active Active
- 2019-06-06 CN CN201980057605.5A patent/CN112673284A/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10291187A (en) * | 1997-04-16 | 1998-11-04 | Kajima Corp | Remote execution assisting image system |
JP2001055762A (en) * | 1999-08-13 | 2001-02-27 | Hitachi Constr Mach Co Ltd | Automatic-operation construction machine and calibrating method for its position measuring means |
JP2003333590A (en) * | 2002-05-16 | 2003-11-21 | Komatsu Ltd | System for generating image at site |
JP2012202061A (en) * | 2011-03-24 | 2012-10-22 | Komatsu Ltd | Calibration system and calibration method for hydraulic shovel |
JP2013124954A (en) * | 2011-12-15 | 2013-06-24 | Kajima Corp | Method and system for measuring shape of civil engineering structure |
US20140277956A1 (en) * | 2013-03-15 | 2014-09-18 | Novatel Inc. | System and method for heavy equipment navigation and working edge positioning |
JP5807120B1 (en) * | 2014-06-04 | 2015-11-10 | 株式会社小松製作所 | Work machine attitude calculation device, work machine, and work machine attitude calculation method |
JP5893144B1 (en) * | 2014-06-04 | 2016-03-23 | 株式会社小松製作所 | Work machine attitude calculation device, work machine, and work machine attitude calculation method |
JP2018510373A (en) * | 2015-02-10 | 2018-04-12 | モービルアイ ビジョン テクノロジーズ リミテッド | Sparse map for autonomous vehicle navigation |
JP2017015598A (en) * | 2015-07-02 | 2017-01-19 | 株式会社トプコン | Geodetic data processing device, geodetic data processing method, and geodetic data processing program |
WO2016148309A1 (en) * | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | Calibration system, and calibration method for work machine |
JP2018128397A (en) * | 2017-02-09 | 2018-08-16 | 株式会社小松製作所 | Position measurement system, work machine, and position measurement method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023011454A (en) * | 2021-07-12 | 2023-01-24 | 東亜道路工業株式会社 | Three-dimensional design data creation method, construction work method, three-dimensional design data creation system, and three-dimensional design data creation program |
Also Published As
Publication number | Publication date |
---|---|
US20220026587A1 (en) | 2022-01-27 |
WO2020059220A1 (en) | 2020-03-26 |
JP7301514B2 (en) | 2023-07-03 |
CN112673284A (en) | 2021-04-16 |
EP3855217A4 (en) | 2022-08-10 |
KR102501073B1 (en) | 2023-02-21 |
EP3855217B1 (en) | 2023-07-19 |
US11906641B2 (en) | 2024-02-20 |
EP3855217A1 (en) | 2021-07-28 |
KR20210036964A (en) | 2021-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020059220A1 (en) | Coordinate conversion system and work machine | |
US10385543B2 (en) | Construction management system, construction management method, and management device | |
CN106029994B (en) | Correction system, work machine, and correction method | |
US11120577B2 (en) | Position measurement system, work machine, and position measurement method | |
JP6826233B2 (en) | Work machine outer shape measurement system, work machine outer shape display system, work machine control system and work machine | |
JP6966218B2 (en) | Imaging equipment calibration equipment, work machines and calibration methods | |
US11508091B2 (en) | Calibration device for imaging device, monitoring device, work machine and calibration method | |
US11459735B2 (en) | Display control system, display control device, and display control method | |
US20220170243A1 (en) | Working machine | |
JP7372029B2 (en) | Display control device, display control system, and display control method | |
JP6918716B2 (en) | Construction machinery | |
JP7386592B2 (en) | Construction machinery operation assistance system | |
JP6616149B2 (en) | Construction method, work machine control system, and work machine | |
JPWO2020196674A1 (en) | Work machine | |
US20230291989A1 (en) | Display control device and display method | |
US20230267895A1 (en) | Display control device and display control method | |
KR20220139031A (en) | Control system and guide line recognition method of construction machine | |
JP2019167720A (en) | Automatic control system for construction machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7301514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |