CN112673284A - 坐标转换系统及作业机械 - Google Patents

坐标转换系统及作业机械 Download PDF

Info

Publication number
CN112673284A
CN112673284A CN201980057605.5A CN201980057605A CN112673284A CN 112673284 A CN112673284 A CN 112673284A CN 201980057605 A CN201980057605 A CN 201980057605A CN 112673284 A CN112673284 A CN 112673284A
Authority
CN
China
Prior art keywords
coordinate system
reference point
coordinates
coordinate conversion
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980057605.5A
Other languages
English (en)
Inventor
早川直树
泉枝穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN112673284A publication Critical patent/CN112673284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80Component parts
    • E02F3/84Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/841Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2045Guiding machines along a predetermined path
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02Means for marking measuring points
    • G01C15/06Surveyors' staffs; Movable markers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/51Relative positioning
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Automation & Control Theory (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

在具备将任意点的地理坐标系坐标转换成现场坐标系坐标的控制器的坐标转换系统中,具备拍摄基准点的拍摄装置和接收导航信号的GNSS天线。控制器基于由GNSS天线接收到的导航信号、拍摄装置与GNSS天线之间的距离来运算拍摄装置的地理坐标系坐标,通过对由拍摄装置拍摄基准点而得到的图像实施图像处理,从而运算从拍摄装置到基准点的距离和方位,基于运算出的该从拍摄装置到基准点的距离和方位、运算出的拍摄装置的地理坐标系坐标来运算基准点的地理坐标系坐标,基于运算出的所述基准点的该地理坐标系坐标、基准点的现场坐标系坐标来校正坐标转换参数。

Description

坐标转换系统及作业机械
技术领域
本发明涉及利用坐标转换参数将任意点的地理坐标系转换成现场坐标系坐标的坐标转换系统及具备该坐标转换系统的作业机械。
背景技术
在将信息通信技术适用到由具有作业机的液压挖掘机等作业机械进行的施工的信息化施工中,利用了如下技术:基于规定了施工对象的三维形状的设计数据而生成规定了应该由作业机械形成的施工对象(目标面)的二维形状的数据,基于该目标面的数据辅助由作业机械进行的施工。作为这种技术,存在将目标面与作业机的位置关系显示于监视器的机器引导(MG:Machine Guidance)、以使作业机保持在目标面的上方的方式半自动地控制作业机的机械控制(MC:Machine Control)。
在MG、MC中,要求在设定于液压挖掘机的车身坐标系上、地理坐标系中准确地运算设定于作业机的控制点(例如位于作业机的前端的铲斗的刃尖位置。也称为作业点)的位置。作为用于提高这种作业点的位置的运算精度的方法,存在利用对表示动臂、斗杆以及铲斗的尺寸和摆动角的多个参数进行校正的校正装置的方法。在例如专利文献1中公开有一种校正装置,该校正装置基于外部计量装置所计量的第1作业点位置信息和第2作业点位置信息运算坐标转换信息,使用坐标转换信息将由外部计量装置所计量的作业点的多个位置处的坐标(本稿的“坐标”设为也包含构成坐标的各数值(坐标值)的概念)从外部计量装置中的坐标系转换成液压挖掘机中的车身坐标系,并基于转换成车身坐标系后的作业点的多个位置处的坐标来运算参数的校正值。
现有技术文献
专利文献
专利文献1:日本特开2012-202061号公报
发明内容
为了提高作业机械的控制点的位置的准确度而要留意的事项也存在其他事项。在信息化施工中所利用的设计数据利用三维CAD软件等定义在任意的坐标系(在本稿中将该坐标系称为“现场坐标系”)上。另一方面,作业机械的控制点的位置基于搭载到作业机械的GNSS(全球导航卫星系统:Global Navigation Satellite Systems)天线所接收到的来自导航卫星的信号(导航信号)而被运算为地理坐标系上的坐标(例如纬度、经度、大地高)。因此,为了在现场坐标系上实施上述的MG、MC,需要将地理坐标系上的作业机械的控制点的位置(坐标)转换成现场坐标系上的坐标。在该坐标的转换中利用预先设定的坐标转换参数。
在施工开始前以包围作业现场整体的方式设置多个桩子等固定基准点,针对各固定基准点获取现场坐标系坐标和地理坐标系坐标,基于这两种坐标系的坐标而计算坐标转换参数。其中,现场坐标系坐标由总站等测定,地理坐标系坐标由GNSS等的卫星测位。由后者的卫星测位的地理坐标系坐标由于卫星的配置、电离层的状况等各种原因而可能时时刻刻变动。因此,出于提高从地理坐标系坐标向现场坐标系坐标的转换精度的观点考虑,优选与卫星测位结果的变动相应地也改变(校正)坐标转换参数。
本发明的目的在于提供一种能够与卫星测位结果的变动相应地容易地生成(校正)从地理坐标系坐标向现场坐标系坐标的坐标转换参数的坐标转换系统及具备该坐标转换系统的作业机械。
本申请包含有多个解决上述问题的方案,若列举一个例子的话,则为一种坐标转换系统,其具备控制器,该控制器利用基于设置于作业现场的基准点的地理坐标系坐标和现场坐标系坐标而生成的坐标转换参数将任意点的地理坐标系坐标转换成现场坐标系坐标,该坐标转换系统具备:拍摄所述基准点的拍摄装置;和接收导航信号的GNSS天线,所述控制器基于由所述GNSS天线接收的导航信号、所述拍摄装置与所述GNSS天线之间的距离来运算所述拍摄装置的地理坐标系坐标,通过对由所述拍摄装置拍摄所述基准点而得到的图像实施图像处理,从而运算从所述拍摄装置到所述基准点的距离和方位,基于该运算出的从所述拍摄装置到所述基准点的距离和方位、所述运算出的所述拍摄装置的地理坐标系坐标来运算所述基准点的地理坐标系坐标,并且基于该运算出的所述基准点的地理坐标系坐标、所述基准点的现场坐标系坐标来校正所述坐标转换参数。
发明效果
根据本发明,能够与卫星测位结果的变动相应地容易生成从地理坐标系坐标向现场坐标系坐标的坐标转换参数。
附图说明
图1是本发明的实施方式的液压挖掘机的外观图。
图2是本发明的第1实施方式的坐标转换系统和液压挖掘机的控制系统的构成图。
图3是设定于液压挖掘机的车身坐标系Co4的说明图。
图4是设定于作业现场的多个基准点的说明图。
图5是表示基准点显示件的一个例子的图,基准点显示件表示基准点的位置、识别信息以及现场坐标系坐标。
图6是本发明的第1实施方式中的由控制器执行的处理流程图。
图7是本发明的第2实施方式的坐标转换系统和液压挖掘机的控制系统的构成图。
图8是本发明的第2实施方式中的由控制器的数据获取部执行的处理流程图。
图9是本发明的第2实施方式中的由信息记录服务器执行的处理流程图。
图10是本发明的第2实施方式中的由控制器的信息处理部执行的处理流程图。
具体实施方式
以下,使用附图对本发明的实施方式进行说明。此外,以下,作为本发明所适用的作业机械,例示具备铲斗4作为作业机(前作业机)前端的附属装置的液压挖掘机,但在具备铲斗以外的附属装置的液压挖掘机中也可以适用本发明。另外,即使是液压挖掘机以外的作业机械,例如若是如轮式装载机这样具有作业机的作业机械,则也能够适用本发明。
<第1实施方式>
图1是本发明的实施方式的液压挖掘机的构成图。如图1所示,液压挖掘机1由多关节型的作业机(前作业机)1A和车身1B构成,该多关节型的作业机(前作业机)1A是连结在垂直方向上分别转动的多个前部件(动臂2、斗杆3以及铲斗4)而构成的,该车身1B由上部旋转体1BA和下部行驶体1BB构成,动臂2的位于作业机1A的基端侧的基端以能够在上下方向上转动的方式支承于上部旋转体1BA的前部。上部旋转体1BA以能够旋转的方式安装于下部行驶体1BB的上部。另外,在上部旋转体1BA设置有拍摄装置(摄像头)19和控制器100,拍摄装置(摄像头)19的用于对设置于作业现场的基准点SP的照片进行拍摄的内部参数(例如焦距(f)、图像传感器尺寸(纵h、横w)、像素数(纵H、横W)、单元单体尺寸、图像中心坐标等)以及外部参数(上下方向、左右方向以及旋转方向的角度(即倾斜角(俯仰角)、水平角(方位角)以及侧倾角))明确;控制器100具有利用坐标转换参数Pr56将任意点的地理坐标系Co5的坐标转换成现场坐标系Co6的坐标的功能,该坐标转换参数Pr56是基于设置于作业现场的基准点SP的地理坐标系Co5的坐标和现场坐标系Co6的坐标而生成的。现场坐标系Co6是编写有由液压挖掘机1进行施工的施工对象的设计数据的三维坐标系。
拍摄装置19是具备CCD(电荷耦合器件:Charge Coupled Device)、CMOS(互补型金属氧化物半导体:Complementary Metal Oxide Semiconductor)等的拍摄元件(图像传感器)的单目摄像头。拍摄装置19将拍摄到的图像数据向控制器100输出。另外,拍摄装置19也可以替换为如下摄像头:该摄像头除了能够获取图像信息之外,还能够如立体摄像头这样获取利用了视差的深度信息(到被摄体为止的距离信息)、或发射激光等并计量该激光的反射光的到达时间等而获取深度信息。
在本实施方式中,拍摄装置19设置于上部旋转体1BA的右侧面(车身右侧面),但拍摄装置19的设置位置也可以是车身前方、后方、车身左侧面,拍摄装置19也可以设置于多个部位。此时,也可以如立体摄像头这样在一处各设置有多台拍摄装置。另外,拍摄装置19也可以具备利用例如使拍摄方向朝向后述的基准点那一方等能够在规定范围内任意地改变拍摄方向的机构(例如云台)而使得易于拍摄基准点的功能。设定于上部旋转体1BA的作为三维坐标系的车身坐标系Co4中的拍摄装置19的位置(车身坐标系坐标)、拍摄方向、内部参数已知或能够检测。设定于拍摄装置19的作为三维坐标系的拍摄装置坐标系Co1的坐标和车身坐标系Co4的坐标的坐标转换参数Pr14、Pr41已知或能够检测,因此,它们能够相互转换。由拍摄装置19拍摄到的图像向控制器100输出。
动臂2、斗杆3、铲斗4、上部旋转体1BA以及下部行驶体1BB分别构成由动臂缸5、斗杆缸6、铲斗缸7、旋转液压马达8以及左右的行驶液压马达9a、9b(液压执行机构)驱动的被驱动部件。这多个被驱动部件的动作由先导压力控制,该先导压力是通过由操作员操作设置于上部旋转体1BA上的驾驶室内的行驶右杆10a、行驶左杆10b、操作右杆11a以及操作左杆11b(有时将这些统称为操作杆10、11)而产生的。通过操作杆10、11的操作而输出的先导压力由多个压力传感器45检测并向控制器100输入(参照图2)。
在驱动上述的多个被驱动部件的先导压力中不仅包括通过操作杆10、11的操作而输出的先导压力,也包括搭载于液压挖掘机1的多个比例电磁阀20(参照图2)的一部分(增压阀)与操作杆10、11的操作无关地进行动作而输出的先导压力、多个比例电磁阀20的一部分(减压阀)进行动作使通过操作杆10、11的操作而输出的先导压力减压而得到的先导压力。如此从多个比例电磁阀20(增压阀和减压阀)输出的先导压力使按照预先确定的条件使动臂缸5、斗杆缸6以及铲斗缸7动作的MC启动。
在作业机1A中,以能够测定动臂2、斗杆3、铲斗4的转动角度α、β、γ(参照图3)的方式,在动臂销安装有动臂角度传感器12,在斗杆销安装有斗杆角度传感器13,在铲斗连杆15安装有铲斗角度传感器14。在上部旋转体1BA安装有检测上部旋转体1BA(车身1B)相对于基准面(例如水平面)的前后方向上的倾斜角θ(参照图3)的车身前后倾斜角传感器16a、检测上部旋转体1BA(车身1B)的左右方向上的倾斜角
Figure BDA0002959532430000061
(未图示)的车身左右倾斜角传感器16b。
在上部旋转体1BA配置有第1GNSS天线17a和第2GNSS天线17b。第1GNSS天线17a和第2GNSS天线17b是RTK-GNSS(实时动态定位-全球导航卫星系统:Real Time Kinematic-Global Navigation Satellite Systems)用的天线,接收从多个GNSS卫星发送的电波(导航信号)。第1GNSS天线17a和第2GNSS天线17b与拍摄装置19之间的距离存储于控制器100的存储装置内。因此,只要知晓第1GNSS天线17a或第2GNSS天线17b在地理坐标系中的坐标和车身的倾斜角θ、
Figure BDA0002959532430000062
就能够运算拍摄装置19在地理坐标系中的坐标。
记载于图3中的X轴和Z轴表示车身坐标系Co4,该车身坐标系Co4以动臂销的轴心上的点(例如中央点)为原点,将车身上方方向设为Z轴,将车身前方方向设为X轴,将车身右方向设为Y轴。车身坐标系Co4和地理坐标系Co5能够通过使用由公知的方法求出的坐标转换参数Pr45、Pr54而相互转换。例如,能够如下地求出该坐标转换参数Pr45、Pr54:利用各前部件2、3、4的尺寸、以及第1GNSS天线17a和第2GNSS天线17b在车身坐标系Co4中的坐标已知、车身1B的俯仰角θ和侧倾角
Figure BDA0002959532430000071
能够由传感器16a、16b获取这一情况,根据基于RTK-GNSS测位得到的第1GNSS天线17a的地理坐标系坐标和第2GNSS天线17b的地理坐标系坐标、以及据此运算的上部旋转体1BA和前作业机1A在地理坐标系中的方位角而求出该坐标转换参数Pr45、Pr54。
在液压挖掘机1的驾驶室内的显示监视器18的画面上,基于根据各种姿势传感器12、13、14、16的输出而运算出的作业机1A的姿势信息、根据GNSS天线17a、17b的接收信号而运算出的上部旋转体1BA的位置信息等,显示侧视作业机1A时的图像和目标面的截面形状。
图2是第1实施方式的液压挖掘机1的系统构成图。如图2所示,本实施方式的液压挖掘机1具备拍摄装置19、姿势传感器(角度传感器)12、13、14、倾斜角传感器16a、16b、第1GNSS天线17a和第2GNSS天线17b、控制器100以及显示监视器18。
控制器100是具有处理装置(例如CPU)和储存有该处理装置要执行的程序的存储装置(例如ROM、RAM等半导体存储器)的控制装置。本实施方式的控制器100接收来自外部装置(例如拍摄装置19、输入装置44(参照图9)、各种传感器12、13、14、16、17、操作杆10、11)的信息和信号,进行地理坐标系Co5、现场坐标系Co6中的作业机1A上的控制点的坐标的运算及其所需要的各种运算、以及与向设置于液压挖掘机1的驾驶室内的显示监视器(显示装置)18的显示、液压挖掘机1的动作相关的各种运算。在存储装置(ROM、RAM等)中确保有校正部21的基准点信息记录部25、信息处理部40的记录部41等的记录区域。关于该控制器100所执行的运算的具体内容,利用在图2中所示的功能框图后述。
另外,在图2中,本实施方式的液压挖掘机1具备:发动机57;液压泵56和先导泵(未图示),其与发动机57的输出轴机械连结,由发动机57驱动;操作杆10、11,其将根据操作量使从先导泵排出的液压油减压而得到的压力(先导压力)作为各液压执行机构5-9的控制信号而经由比例电磁阀20向控制阀55输出;多个压力传感器45,其检测操作杆10、11所输出的先导压力的压力值而检测操作杆10、11的操作量和操作方向;多个控制阀55,其基于从操作杆10、11或比例电磁阀20输出的控制信号(先导压力)控制从液压泵56向各液压执行机构5-9导入的工作油的流量和方向;多个压力传感器58,其检测作用于各控制阀55的先导压力的压力值;控制器100,其基于作业机1A的位置、姿势和其他车身信息计算校正目标先导压力,并向比例电磁阀20输出能够产生该校正目标先导压力的指令电压;以及输入装置44,其用于向控制器100输入要由作业机1A形成的目标面的信息、拍摄装置19所拍摄到的基准点SP的现场坐标系坐标等。
液压泵56机械控制转矩、流量,以使车身按照各液压执行机构5-8的目标输出而动作。
控制阀55存在与作为控制对象的液压执行机构5-8的数量相同的数量,在图2中将它们统一以1个表示。对各控制阀作用使其内部的阀柱向轴向的一方或另一方移动的两个先导压力。例如,对动臂缸5用的控制阀55作用动臂抬升的先导压力和动臂下降的先导压力。
压力传感器58用于检测作用于各控制阀55的先导压力,能存在控制阀的数量的两倍的数量。压力传感器58设置于控制阀55的正下方,检测实际上作用于控制阀55的先导压力。
比例电磁阀20存在多个,在图2中统一以1个块表示。比例电磁阀20存在两种。1种是将从操作杆10、11输入的先导压力直接输出或减压到由指令电压指定的所期望的校正目标先导压力而输出的减压阀,另一种是如下增压阀:在需要比操作杆10、11所输出的先导压力大的先导压力的情况下,将从先导泵输入的先导压力减压到由指令电压指定的所期望的校正目标先导压力而输出。关于针对某控制阀55的先导压力,在需要比从操作杆10、11输出的先导压力大的先导压力的情况下,经由增压阀生成先导压力,在需要比从操作杆10、11输出的先导压力小的先导压力的情况下,经由减压阀生成先导压力,在没有从操作杆10、11输出先导压力的情况下,经由增压阀生成先导压力。也就是说,能够利用减压阀和增压阀使与从操作杆10、11输入的先导压力(基于操作员操作的先导压力)不同的压力值的先导压力作用于控制阀55,能够使作为该控制阀55的控制对象的液压执行机构进行所期望的动作。
针对1个控制阀55,减压阀和增压阀分别最大能存在两个。例如在本实施方式中,在动臂缸5的控制阀55用方面设置有两个减压阀和两个增压阀。具体而言,液压挖掘机1具备:第1减压阀,其设置于从操作杆11向控制阀55引导动臂抬升的先导压力的第1管路;第1增压阀,其设置于绕过操作杆11而从先导泵向控制阀55引导动臂抬升的先导压力的第2管路;第2减压阀,其设置于从操作杆11向控制阀55引导动臂下降的先导压力的第3管路;以及第2增压阀,其设置于绕过操作杆11而从先导泵向控制阀55引导动臂下降的先导压力的第4管路。
在本实施方式中,不存在行驶液压马达9a、9b和旋转液压马达8的控制阀55用的比例电磁阀20。因而,基于从操作杆10、11输出的先导压力驱动行驶液压马达9a、9b和旋转液压马达8。
<控制器100的构成>
控制器100基于由GNSS天线17a、17b接收到的导航信号来运算拍摄装置19的地理坐标系坐标,基于运算出的该拍摄装置19的地理坐标系坐标、利用拍摄装置19拍摄基准点而得到的图像、拍摄装置19的内部参数来运算基准点的地理坐标系坐标,基于运算出的该基准点的地理坐标系坐标、基准点的现场坐标系坐标来校正(运算)地理坐标系和现场坐标系的相互的坐标转换参数Pr56、Pr65。在图2中,控制器100具备位置姿势检测部30、校正部21以及信息处理部40。以下,说明控制器100的构成的详细情况。
位置姿势检测部30具备:地理坐标系车身坐标检测部31,其运算地理坐标系中的上部旋转体1BA的坐标(第1GNSS天线17a和第2GNSS天线17b的坐标);车身姿势检测部32,其运算前作业机1A、车身1B的姿势;以及坐标转换参数运算部33,其运算车身坐标系Co4和地理坐标系Co5的坐标转换参数Pr45、Pr54。在本实施方式中,为了获取这些信息,在位置姿势检测部30连接有动臂角度传感器12、斗杆角度传感器13、铲斗角度传感器14、车身前后倾斜角传感器16a、车身左右倾斜角传感器16b、第1GNSS天线17a以及第2GNSS天线17b。
地理坐标系车身坐标检测部31基于直到从多个GNSS卫星发送的电波(导航信号)被第1GNSS天线17a和第2GNSS天线17b接收为止所需要的时间来测定各个天线位置的纬度、经度以及高度(大地高)。由此,能够运算作为三维坐标系的地理坐标系(世界坐标系)Co5中的液压挖掘机1(上部旋转体1BA)的位置和方位。而且,地理坐标系车身坐标检测部31通过在利用该运算结果的基础上还利用存储在控制器100的存储装置内的拍摄装置19与第1GNSS天线17a和第2GNSS天线17b各自之间的距离,来运算地理坐标系Co5中的拍摄装置19的坐标。此时,在车身1B倾斜的情况下,优选考虑倾斜角θ、
Figure BDA0002959532430000101
此外,也可以采用如下构成:利用专用的接收机(GNSS接收机)运算第1GNSS天线17a和第2GNSS天线17b的位置和高度,并向控制器100输出运算结果。
车身姿势检测部32根据动臂角度传感器12、斗杆角度传感器13、铲斗角度传感器14的信息来运算车身坐标系Co4中的动臂2、斗杆3、铲斗4的转动角度α、β、γ,由此运算车身坐标系Co4中的前作业机1A的姿势,另外,车身姿势检测部32根据车身前后倾斜角传感器16a、车身左右倾斜角传感器16b的信息来运算地理坐标系Co5中的前后方向的倾斜角θ(参照图3)和左右方向的倾斜角
Figure BDA0002959532430000102
由此运算地理坐标系Co5中的车身的姿势。车身坐标系Co4和地理坐标系Co5能够相互进行坐标转换,因此,只要能够确定车身坐标系中的前作业机1A的姿势,也就能够运算设定于前作业机1A的任意控制点(例如铲斗爪尖)的地理坐标系坐标。此外,由地理坐标系车身坐标检测部31运算出的液压挖掘机1(上部旋转体1BA)的方位位于车身坐标系Co4的X轴。
坐标转换参数运算部33基于由位置姿势检测部30和地理坐标系车身坐标检测部31运算出的位置和姿势信息来运算车身坐标系Co4和地理坐标系Co5的相互的坐标转换参数Pr45、Pr54,并向设置于车身1B的驾驶室内的控制器100输出。
校正部21根据拍摄装置19拍摄到的图像和位置姿势检测部30所输出的信息来运算基准点的地理坐标系坐标,并基于其运算结果和基准点的现场坐标系坐标来运算(校正)坐标转换参数Pr56、Pr65。
校正部21具备基准点识别部22、地理坐标系基准点坐标运算部23、现场坐标系基准点坐标获取部24、基准点信息记录部25以及坐标转换参数运算部26。校正部21以由拍摄装置19拍摄到的图像、由位置姿势检测部30输出的车身坐标系Co4和地理坐标系Co5的坐标转换参数Pr45、Pr54、从输入装置44输出的基准点的现场坐标系Co6的坐标信息为输入,输出将地理坐标系Co5坐标转换成现场坐标系Co6坐标的坐标转换参数。
基准点识别部22使用图案匹配等图像处理技术来判定作业现场的基准点SP是否映出在由拍摄装置19拍摄到的图像中。
基准点SP是现场坐标系Co6中的坐标已知的点,标记于固定地设置于作业现场的规定位置的任意物体。通常,以如图4所示这样包围作业现场的方式设置多个基准点SP1-SP12。基准点(SPn)也可以安装于地面或壁面。另外,设置为基准点SPn的物体是具有规定的大小、颜色、图案、形状、性质等特征的物体,包括桩子、钉,标识等。另外,在此所谓的标识可以是反射特定波长的光的标识、向特定方向反射光的标识、在AR(增强现实:AugmentedReality)技术中使用的AR标识、包括QR码(商标注册)等二维码的标识。
在图5中表示示出有基准点SPn的基准点显示件的一个例子。图5的基准点显示件具备钉到地面的桩子和安装到该桩子之上的板。在板的表面记载有基准点SP12的识别信息(12)、基准点SP12的现场坐标系Co6的坐标(X=22.4,Y=48.0,H=101.2)、以及表示基准点SP12的位置的三角形标识。图5的三角形标识的下端是基准点SP12的位置。在图4的各基准点SP1-12分别设置有图5那样的基准点显示件。基准点SP的识别信息、现场坐标系坐标也可以埋入至标识。此外,在后述的现场坐标系基准点坐标获取部24中,从拍摄装置19的拍摄图像读取记载于基准点显示件的板上的基准点名称、基准点的现场坐标系坐标。
本实施方式的基准点识别部22利用图5所示的基准点显示件的三角形标识来判定基准点SP是否映出在拍摄装置19的拍摄图像中。具体而言,基准点识别部22利用边缘检测等的图像处理程序而检测在拍摄图像内映出有三角形标识的区域(三角形区域),并使检测出的三角形区域的形状和预先存储到控制器100内的存储装置中的三角形标识(模板图案)的形状进行图案匹配。并且,基准点识别部22在两者的匹配率超过了规定的阈值的情况下,判定为在拍摄图像内检测到的三角形区域与三角形标识符合,基准点SP映出在拍摄装置19的拍摄图像中。
地理坐标系基准点坐标运算部23通过对由拍摄装置19拍摄基准点SP而得到的图像实施图像处理,从而运算从拍摄装置19到由基准点识别部22识别出的基准点SP为止的距离和方位,基于该距离和方位、以及由地理坐标系车身坐标检测部31运算出的拍摄装置19的地理坐标系坐标,运算由基准点识别部22识别出的基准点SP在地理坐标系Co5中的坐标。
首先,在本实施方式中,地理坐标系基准点坐标运算部23检测由基准点识别部22识别出的三角形区域的尺寸、变形,将其与预先存储的三角形标识(模板图案)的形状和尺寸相比较,由此运算拍摄装置19与基准点SP的相对位置。使用了尺寸已知的标识的距离、方向的推定能够利用公知的方法实现。例如,通过利用基于图像处理进行的轮廓线提取而从拍摄图像中提取由3根边缘围成的三角形的顶点,从而提取标识区域(三角形区域)。使提取出的区域标准化,将利用图案匹配而与模板图案之间的类似度取得最大值的位置设为标识(即基准点SP)的位置。车身坐标系Co4中的拍摄装置19的坐标(位置)已知,因此,能够根据如上述这样求出的拍摄装置19与基准点SP的相对位置、即拍摄装置19与基准点SP之间的距离和方位(侧倾角、俯仰角、方位角)而运算车身坐标系Co4中的基准点SP的坐标。
接着,地理坐标系基准点坐标运算部23将车身坐标系Co4中的基准点SP的坐标转换成地理坐标系Co5中的坐标。该坐标转换能够通过使车身坐标系Co4中的基准点SP的坐标乘以矩阵Mt45(即,坐标转换参数Pr45)来进行。该矩阵Mt45能够利用公知的方法运算,例如,能成为基于侧倾角、俯仰角、方位角使坐标旋转的旋转矩阵。计算出的地理坐标系Co5中的基准点SP的坐标向基准点信息记录部25输出。
另外,在本实施方式中利用图案匹配运算拍摄装置19与基准点SP的距离和方向,但只要是利用图像处理而根据拍摄装置19的拍摄图像求出基准点SP的距离和方向的方法,则也可以是其他方法。例如,作为拍摄装置19,也可以利用根据彼此的距离已知的多个摄像头的拍摄图像生成视差图像并能够运算直到基准点SP为止的距离的例如立体摄像头。
现场坐标系基准点坐标获取部24是执行获取由地理坐标系基准点坐标运算部23对地理坐标系Co5的坐标进行了运算的基准点SP在现场坐标系Co6中的坐标的处理的部分。获取基准点SP在现场坐标系Co6中的坐标的方法中存在多个模式,例如,现场坐标系基准点坐标获取部24能够通过利用图像识别读取拍摄装置19的图像所包含的基准点SP的现场坐标系坐标的信息来获取该基准点SP在现场坐标系Co6中的坐标。具体而言,在如图5的基准点显示件这样显示有实际的数值的情况下,可以利用图像识别来读取该实际的数值;在基准点显示件显示有埋入有基准点的现场坐标系坐标的信息的二维码、标识的情况下,可以在拍摄装置19的拍摄图像上搜寻该二维码、标识而读入被埋入的现场坐标系坐标;在如图5的基准点显示件这样显示有基准点SP的识别信息的情况下,可以从图像读取该基准点SP的识别信息并从基准点信息记录部25读入与该识别信息相对应的基准点SP的现场坐标系坐标。另外,也可以是,例如在显示监视器18中显示用于输入基准点的现场坐标系坐标的消息而使操作员经由输入装置44输入现场坐标系坐标。此外,作为基准点的识别信息,存在固有地对基准点设定的ID、名字、现场坐标系坐标。
基准点信息记录部25是记录基准点信息的部分。在基准点信息中包含由地理坐标系基准点坐标运算部23运算出的基准点的地理坐标系坐标、以及由现场坐标系基准点坐标获取部24获取到的基准点的现场坐标系坐标,也可以包括固有地分配给各基准点的识别信息(ID、名称)。将由地理坐标系基准点坐标运算部23运算出的地理坐标系Co4中的基准点的坐标作为输入而记录基准点信息,并将其向现场坐标系基准点坐标获取部24、坐标转换参数运算部26输出。在初始状态下,基准点信息记录部25基于来自输入装置44的输入而记录在初始状态的坐标转换参数运算中所使用的基准点信息。另外,在基准点在施工中途增减了的情况下,从输入装置44追加或者删除相应的基准点的信息。
坐标转换参数运算部26使用记录在基准点信息记录部25中的多个基准点的地理坐标系坐标和现场坐标系坐标而运算(校正)地理坐标系Co5和现场坐标系Co6的相互的坐标转换参数Pr56、Pr65。坐标转换参数Pr56、Pr65能够利用公知的方法运算,例如,成为由平行移动矩阵、旋转矩阵以及扩大缩小矩阵中的至少1个构成的转换矩阵。若简单地说明坐标转换参数P56的计算,例如,当将基准点的地理坐标系坐标转换成从地理坐标系进行的坐标转换的坐标转换参数已知的三维正交坐标系(例如日本的平面直角坐标系、地心正交坐标系)中的坐标Bk,并将该转换后的坐标设为Bk(Xk,Yk,Zk)、将基准点的现场坐标系坐标设为Pk(xk,yk,zk)时,Bk能够如下式这样以Pk表示。其中,在下式中,Poffset表示平行移动矩阵,R表示旋转矩阵,S表示扩大缩小矩阵,δk表示误差,这些成为坐标转换参数。
Bk=Poffset+R·Pk+S·Pk+δk
并且,针对地理坐标系坐标和现场坐标系坐标已记录到基准点信息记录部25中的n个(n是2以上)基准点,利用最小二乘法求出δk2的和成为最小的坐标转换参数。然后,能够根据运算出的该坐标转换参数和最初利用于向坐标Bk的转换的坐标转换参数来运算坐标转换参数Pr56。此外,在坐标转换参数Pr56、Pr65的运算中使用已记录到基准点信息记录部25中的多个基准点的基准点信息,但也可以不使用所有基准点信息。
坐标转换参数运算部26运算出的坐标转换参数Pr56、Pr65向信息处理部40输出。
信息处理部40基于校正部21所输出的坐标转换参数Pr56,将由位置姿势检测部30输出的地理坐标系中的车身位置信息转换成现场坐标系坐标,并按照车身姿势信息、车身的现场坐标系坐标、从输入装置44输入的信息化施工数据、从操作杆10、11输入的操作输入信息(压力传感器45的检测值)而运算针对操作员的提示信息、驾驶辅助用的控制信息。针对操作员的提示信息向显示监视器18输出,驾驶辅助用的控制信息向比例电磁阀20输出,实现信息提示功能、驾驶辅助功能。
信息处理部40具备记录部41、现场坐标系坐标转换部46、信息提示控制部42、驾驶辅助控制部43。信息处理部40从校正部21、位置姿势检测部30、输入装置44、压力传感器45输入信息,向显示监视器18和比例电磁阀20输出信息。
记录部41记录从校正部21输入的坐标转换参数Pr56和从输入装置44输入的信息化施工数据。坐标转换参数Pr56每次由校正部21校正后,都记录于记录部41,利用于信息提示控制部42和驾驶辅助控制部43所执行的控制。此外,信息化施工数据是具有用于提供由信息提示控制部42实现的信息提示功能和由驾驶辅助控制部43实现的驾驶辅助功能的三维信息的数据,包括例如由液压挖掘机1施工的目标面形状数据(目标面数据)、作业机械的进入禁止区域数据。任一信息化施工数据都能为了以防止前作业机1A的侵入的方式控制液压缸5、6、7而被利用。
现场坐标系坐标转换部46针对从位置姿势检测部30输入的地理坐标系Co5中的车身位置信息,基于记录于记录部41的坐标转换参数Pr56将其转换成现场坐标系Po6的车身位置信息。作为从位置姿势检测部30输入的车身位置信息,例如,存在基于旋转体1BA的地理坐标系坐标和由姿势传感器12-14、16检测出的前作业机1A、车身1B的姿势信息而设定于前作业机1A的控制点(例如铲斗爪尖)的地理坐标系坐标。另外,存在基于地理坐标系中的旋转体1BA的方位和由姿势传感器16检测出的车身1B的姿势信息而设定于车身1B的控制点(例如上部旋转体1BA的后端)的地理坐标系坐标。
信息提示控制部42基于由现场坐标系坐标转换部46转换成现场坐标系坐标后的控制点的位置信息、信息化施工数据而运算应该向操作员提示的显示信息,并将其向显示监视器18输出。显示信息也可以包括例如侧视前作业机1A时的图像、目标面形状数据在XZ平面上的剖视图(目标面)、由位置姿势检测部30检测的各种传感器值、从铲斗4的爪尖(控制点)到目标面的距离等。
驾驶辅助控制部43基于由现场坐标系坐标转换部46转换成现场坐标系坐标后的控制点的位置信息、信息化施工数据,运算用于以辅助操作员的驾驶的方式使液压缸5、6、7动作的控制信号并将其向比例电磁阀20输出。控制信号例如限制液压缸5、6、7的移动以使前作业机1A的控制点(例如铲斗爪尖)不会相对于目标面潜入,或者,控制信号以停止或回避的方式控制液压缸5、6、7、行驶液压马达9a、9b、旋转液压马达8的动作,以使包括前作业机1A的车身的控制点不会与障碍物碰触。
<控制器的处理流程>
接着,参照图6来说明控制器100(校正部21)校正坐标转换参数Pr56的处理的流程。此外,控制器100(校正部21)以规定的周期(例如几分钟间隔)反复执行该坐标转换参数校正处理。
当开始图6的处理时,在步骤S1中,首先,控制器100(基准点识别部22)针对拍摄装置19拍摄到的图像利用图像识别判定在图像内是否存在基准点。在拍摄装置19拍摄到的图像内没有基准点的情况下结束处理,在存在基准点的情况下进入下一步骤S2。
在步骤S2中,控制器100(地理坐标系基准点坐标运算部23)基于从拍摄装置19和位置姿势检测部30输入的信息,运算在步骤S1中利用的图像的拍摄时刻下的地理坐标系Co5中的基准点的坐标,并进入步骤S3。
在步骤S3中,控制器100(现场坐标系基准点坐标获取部24)获取在步骤S2中对地理坐标系Co5的坐标进行了运算的基准点的现场坐标系坐标,并进入步骤S4。在步骤S3中,具体而言,利用如下方法等获取现场坐标系坐标:由操作员利用输入装置44直接进行输入的方法;获取记录于基准点信息记录部25的基准点中的、具有相对于在S2中运算出的地理坐标系坐标处于规定范围内的地理坐标系坐标的基准点的现场坐标系坐标的方法;从由拍摄装置19拍摄到的基准点的图像中读取信息并获取现场坐标系坐标的方法。
在步骤S4中,控制器100(校正部21)在基准点信息记录部25中更新在步骤S2中运算出的基准点的地理坐标系坐标与在步骤S3中获取到的基准点的现场坐标系坐标之间的对应关系,并进入步骤S5。
在步骤S5中,控制器100(坐标转换参数运算部26)基于记录到基准点信息记录部25的基准点的地理坐标系坐标和现场坐标系坐标,运算地理坐标系与现场坐标系的坐标转换参数Pr56(例如上述的Poffset(平行移动矩阵)、R(旋转矩阵)、S(扩大缩小矩阵)、δk(误差))以及坐标转换参数Pr65,并将其记录于信息处理部40的记录部41而结束处理。
<作用、效果>
在上述那样的具备控制器100、拍摄装置19、GNSS天线17a、17b的系统中,通过利用拍摄装置19拍摄基准点SPn,从而能够获取基准点SPn的地理坐标系坐标,即使由于卫星配置、电离层的状况等而基于GNSS得到的测位结果(地理坐标系坐标)产生变动,也能够容易地获取最新状况下的基准点SPn的地理坐标系坐标。由此,能够利用最新的地理坐标系坐标迅速地校正从地理坐标系Co5向现场坐标系Co6的坐标转换参数Pr56,因此,通过将校正后的坐标转换参数Pr56利用于液压挖掘机1中的控制,从而能够提高液压挖掘机1的控制点的运算精度和液压挖掘机1的施工精度。
另外,在上述的系统中,在基准点显示件显示有埋入有基准点的现场坐标系坐标的信息的标识,若利用拍摄装置19将该标识与基准点SPn一起拍摄并利用图像处理进行复原,则不仅能够利用由拍摄装置19进行的拍摄容易地获取基准点SPn的地理坐标系坐标,还能够容易地获取现场坐标系坐标。由此,能够更迅速地运算坐标转换参数Pr56。
另外,若控制器100构成为控制拍摄装置19的朝向以使基准点始终包含于拍摄装置19的拍摄范围,则无论何时进行拍摄,基准点都包含于拍摄装置19的拍摄范围。因此易于在所期望的时机运算坐标转换参数Pr56。
另外,在上述的实施方式中,将包括控制器100、拍摄装置19、GNSS天线17a、17b的系统搭载于液压挖掘机1,因此,能够向液压挖掘机1的控制器迅速地输出校正后的坐标转换参数Pr56,能够没有延迟地实施利用该坐标转换参数Pr56的控制。由此,信息提示控制部42能够准确地向显示监视器18显示前作业机1A的控制点(铲斗爪尖)与目标面的位置关系,并且,能够提高驾驶辅助控制部43对液压执行机构5、6、7、8、9的控制精度。
<第2实施方式>
将本实施方式的系统示于图7。作为本实施方式与第1实施方式的主要不同点,可列举如下几点:追加有信息记录服务器101;在控制器100(100A)内追加有现场坐标系基准点坐标识别部104和坐标转换参数更新部47;在第1实施方式中位于控制器100内的基准点信息记录部25(25A)和坐标转换参数运算部26(26A)移动到信息记录服务器101。
此外,与第1实施方式相同的部分有时标注相同的附图标记而适当省略说明。在附图标记中以尾标标注有“A”的部分构成为执行与第1实施方式不同的处理。图2所示的发动机57、液压泵56、控制阀55、压力传感器58以及执行机构5、6、7、8、9省略了图示。
如图7所示,本实施方式的系统具备拍摄装置19、控制器100A、信息记录服务器101、输入装置44、压力传感器45、比例电磁阀20以及显示监视器18。其中,除了信息记录服务器101之外的拍摄装置19、控制器100A、输入装置44、压力传感器45、比例电磁阀20以及显示监视器18搭载于液压挖掘机1。
<控制器(其1)>
控制器100A具备数据获取部102、信息处理部40A以及位置姿势检测部30。
数据获取部102具备基准点识别部22、地理坐标系基准点坐标运算部23A以及现场坐标系基准点坐标识别部104。
地理坐标系基准点坐标运算部23A运算由基准点识别部22识别出的基准点SP在地理坐标系Co5中的坐标,并将其结果向信息记录服务器101输出。
现场坐标系基准点坐标识别部104获取由地理坐标系基准点坐标运算部23A运算了地理坐标系Co5的坐标的基准点SP的识别信息(基准点识别信息)并将其向信息记录服务器101输出。在获取基准点识别信息的方法中存在多个模式,例如,现场坐标系基准点坐标识别部104能够通过利用图像识别读取拍摄装置19的图像所包含的基准点识别信息来获取。具体而言,在如图5的基准点显示件这样显示有基准点识别信息(12)的情况下,可以从图像读取而输出该识别信息。另外,在使用包含二维码的标识作为基准点的情况等使基准点的形状、图案具有基准点识别信息的情况下,可以利用图像识别从拍摄装置19拍摄到的图像中识别该信息。另外,例如,也可以在显示监视器18中显示输入基准点识别信息的消息而使操作员经由输入装置44输入基准点识别信息。作为基准点识别信息,存在针对基准点固有地设定的ID、名字、现场坐标系坐标。在如图5这样使基准点显示件具有现场坐标系坐标信息的情况下,获取记录于基准点信息记录部25的基准点信息中的、现场坐标系坐标一致的基准点的基准点识别信息即可。
<信息记录服务器>
信息记录服务器101设置于例如对在某作业现场中运转的多个液压挖掘机1进行管理的管理中心的构造室内,与该多个液压挖掘机1的控制器100A经由无线通信网络能够相互通信地连接。信息记录服务器101是具有处理装置(例如CPU)和储存有该处理装置要执行的程序的存储装置(例如ROM、RAM等半导体存储器)的计算机。在信息记录服务器101内的存储装置(ROM、RAM等)中确保有基准点信息记录部25A、坐标转换参数记录部103等的记录区域。信息记录服务器101具备基准点信息记录部25A、坐标转换参数运算部26、以及坐标转换参数记录部103。此外,在本实施方式中,控制器100A内的数据获取部102和信息记录服务器101作为运算将地理坐标系转换成现场坐标系的坐标转换参数Pr56的校正部(第1实施方式中的校正部21)发挥功能。
基准点信息记录部25A将由地理坐标系基准点坐标运算部23A运算出的地理坐标系Co5中的基准点的坐标、与由现场坐标系基准点坐标识别部104获取到的基准点识别信息记录为一组基准点信息。在基准点信息记录部25A记录有各基准点的现场坐标系Co6中的坐标和基准点识别信息,能够以从现场坐标系基准点坐标识别部104输入的基准点识别信息为密钥而获取该基准点在现场坐标系中的坐标。由此,基准点信息记录部25A除了能够在由地理坐标系基准点坐标运算部23运算出的基准点的地理坐标系坐标和由现场坐标系基准点坐标识别部104获取到的基准点识别信息的基础上,还将具有该基准点识别信息的基准点的现场坐标系坐标也记录为一组基准点信息。
坐标转换参数运算部26A在记录于基准点信息记录部25A的基准点的地理坐标系坐标存在变化的情况下(即,在从控制器100A所发送的基准点的地理坐标系坐标与在其发送之前刚刚记录于基准点信息记录部25A的数据不同的情况下),使用该基准点的地理坐标系坐标和现场坐标系坐标而运算(校正)地理坐标系Co5与现场坐标系Co6的相互的坐标转换参数Pr56、Pr65。坐标转换参数运算部26A运算出的坐标转换参数Pr56、Pr65向坐标转换参数记录部103输出。
坐标转换参数记录部103将由坐标转换参数运算部26A运算出的坐标转换参数与其运算时刻(即更新时刻)一起记录。
<控制器(其2)>
信息处理部40A具备记录部41、坐标转换参数更新部47、现场坐标系坐标转换部46、信息提示控制部42以及驾驶辅助控制部43。
坐标转换参数更新部47以规定的时间间隔确认记录于信息记录服务器101的坐标转换参数记录部103中的坐标转换参数是否已被更新,在已被更新的情况下,获取记录于信息记录服务器101的坐标转换参数记录部103中的最新的坐标转换参数,并将其向记录部41输出。
记录部41记录从坐标转换参数更新部47输入的坐标转换参数Pr56和从输入装置44输入的信息化施工数据。坐标转换参数Pr56利用于信息提示控制部42和驾驶辅助控制部43所执行的控制。
<控制器和信息记录服务器的处理流程>
接着,参照图8、9、10来说明控制器100A的数据获取部102、信息记录服务器101、控制器100A的信息处理部40A校正坐标转换参数Pr56、并更新记录于信息处理部40A的记录部41中的坐标转换参数Pr56的处理的流程。此外,以规定的周期(例如几分钟间隔)反复执行这些处理。
首先,使用图8说明控制器100A的数据获取部102中的处理。
当开始图8的处理时,在步骤S101中,首先,控制器100A(基准点识别部22)针对拍摄装置19拍摄到的图像利用图像识别而判定在图像内是否存在基准点。在拍摄装置19拍摄到的图像内没有基准点的情况下结束处理,在存在基准点的情况下进入步骤S102。
在步骤S102中,控制器100A(地理坐标系基准点坐标运算部23)通过对在步骤S101中利用的图像实施图像处理,从而运算从拍摄装置19到基准点SP的距离和方位,并基于该距离和方位、由地理坐标系车身坐标检测部31运算出的拍摄装置19的地理坐标系坐标,运算该图像的拍摄时刻下的地理坐标系Co5中的基准点的坐标,进入步骤S103。
在步骤S103中,控制器100A(现场坐标系基准点坐标识别部104)获取在S102中运算了地理坐标系坐标的基准点的基准点识别信息,并进入步骤S104。具体而言,利用如下方法等获取基准点的现场坐标系坐标:操作员直接利用输入装置44进行输入的方法;获取记录于基准点信息记录部25的基准点中的、具有相对于在S102中运算出的地理坐标系坐标处于规定范围内的地理坐标系坐标的基准点的基准点识别信息的方法;从由拍摄装置19拍摄到的基准点的图像中读取信息并获取基准点识别信息的方法。
在步骤S104中,控制器100A(数据获取部102)使在步骤S102中运算出的基准点的地理坐标系坐标与在步骤S103中获取到的基准点识别信息建立对应,并将其向信息记录服务器101(基准点信息记录部25A)发送而结束处理。
接着,使用图9说明信息记录服务器101中的处理。
当开始图9的处理时,在步骤S204中,首先,信息记录服务器101(基准点信息记录部25A)接收从控制器100A(数据获取部102)发送的基准点的识别信息和地理坐标系坐标,记录由控制器100A(数据获取部102)识别出的基准点的地理坐标系坐标,进入步骤S205。
在步骤S205中,信息记录服务器101在步骤S204中记录于基准点信息记录部25A的基准点的地理坐标系坐标被更新成与之前刚刚被记录的坐标不同的坐标的情况下,进入步骤S6,在未被更新的情况下,结束处理。
在步骤S206中,信息记录服务器101(坐标转换参数运算部26)从基准点信息记录部25A获取在步骤S204中接收了地理坐标系坐标的基准点的现场坐标系坐标,基于该基准点的地理坐标系坐标和现场坐标系坐标而运算将地理坐标系Co5转换成现场坐标系Co6的坐标转换参数Pr56。
在步骤S207中,信息记录服务器101将在步骤S206中运算出的坐标转换参数Pr56记录于坐标转换参数记录部103而结束处理。
接着,使用图10说明控制器100A(信息处理部40A)中的处理。
当开始图10的处理时,在步骤S308中,控制器100A(坐标转换参数更新部47)以规定的时间间隔确认记录于信息记录服务器101的坐标转换参数记录部103中的坐标转换参数Pr56是否被更新。具体而言,控制器100A向信息记录服务器101发送询问坐标转换参数Pr56的更新的有无的信号,基于从信息记录服务器101发送的回答的信号来判断更新的有无。此外,也可以是,控制器100A接收从信息记录服务器101以规定的时间间隔通知更新的有无的信号,由此判断更新的有无。在坐标转换参数Pr56被更新了的情况下,进入步骤S309,在未被更新的情况下,结束处理。
在步骤S309中,控制器100A(坐标转换参数更新部47)对信息记录服务器101发出指令,以使其发送记录于坐标转换参数记录部103中的最新的坐标转换参数Pr56,控制器100A将从信息记录服务器101发送的坐标转换参数Pr56存储于记录部41(ROM、RAM等存储装置)而结束处理。
<作用、效果>
在以上的构成中,利用网络将存在于作业现场的多个液压挖掘机1的控制器100A和信息记录服务器101连接,从各控制器100A向信息记录服务器101至少发送基准点的地理坐标系坐标和基准点识别信息。并且,在从各控制器100A发送的基准点的地理坐标系坐标存在变化的情况下,信息记录服务器101基于该基准点的地理坐标系坐标和现场坐标系坐标运算坐标转换参数Pr56,将该坐标转换参数Pr56记录于信息记录服务器101内的坐标转换参数记录部103而进行数据的更新。各控制器100A以规定的间隔向信息记录服务器101询问坐标转换参数Pr56的更新的有无,在有更新时,从信息记录服务器101下载最新的坐标转换参数Pr56,能够将最新的坐标转换参数Pr56利用于信息提示控制部42和驾驶辅助控制部43的控制。
由此,即使在作业现场处运转中的多个液压挖掘机1中存在无法利用拍摄装置19拍摄基准点(基准点显示件)的液压挖掘机(例如图4的第2液压挖掘机),且在卫星配置在其不可拍摄期间内变化而地理坐标系坐标(卫星测位结果)产生了变动时,也能够在该期间内基于能够拍摄某一基准点(基准点显示件)的其他液压挖掘机(例如图4的第1液压挖掘机)所获取到的地理坐标系坐标,下载信息记录服务器101校正后的坐标转换参数Pr56。即,即使是在某液压挖掘机1无法拍摄基准点的状况下,也能够迅速地利用基于来自能够拍摄基准点的其他液压挖掘机1的信息而更新(校正)后的坐标转换参数Pr56,因此,能够提高在作业现场运转的液压挖掘机整体的控制点的运算精度和施工精度。
另外,在上述的实施方式中,利用坐标信息记录服务器101对基准点的现场坐标系进行一元管理,因此,无需在液压挖掘机1侧登记或存储基准点的现场坐标系坐标,能够减轻使用者、操作员的操作负担。
另外,在上述的实施方式中,在从信息记录服务器101向各液压挖掘机1的控制器100A通知了坐标转换参数Pr56已被校正这一情况时,各液压挖掘机1的控制器100A接收该校正后的所述坐标转换参数Pr56,利用接收到的该坐标转换参数Pr56而进行控制点的坐标转换。由此,于在坐标转换参数Pr56存在更新的情况下,可迅速地下载到各液压挖掘机1的控制器100A,能够立刻利用于各种控制。
<其他>
此外,本发明并不限定于上述的各实施方式,包括不脱离其主旨的范围内的各种变形例。例如,本发明并不限定于具备在上述的实施方式中进行了说明的全部构成,也包括删除该构成的一部分而得到的方案。另外,能够将某实施方式的构成的一部分追加于其他实施方式的构成,或者,能够将某实施方式的构成的一部分置换成其他实施方式的构成。
例如,在上述的第1实施方式中,对将具备控制器100、拍摄装置19、GNSS天线17a、17b的坐标转换系统搭载于液压挖掘机1的实施方式进行了说明,但该构成不是必须的事项。即,也可以将系统构成为,在液压挖掘机之外设置有由控制器100、拍摄装置19、GNSS天线17a、17b构成的坐标转换系统,并将在此处运算出的坐标转换参数向液压挖掘机1发送。在第2实施方式中也同样,也可以将系统构成为,在作业现场内设置有多个由控制器100、拍摄装置19、GNSS天线17a、17b构成的坐标转换系统,将在此处运算出的坐标转换参数向信息记录服务器101发送。
在第2实施方式中,在信息记录服务器101侧设置有基准点信息记录部25A和坐标转换参数运算部26A,但也可以与第1实施方式同样地将它们设置于控制器100A侧。即,也可以采用如下构成:在控制器100A侧运算坐标转换参数Pr56,仅将该坐标转换参数Pr56向信息记录服务器101发送并记录于坐标转换参数记录部103。
另外,在第2实施方式中,从控制器100A向信息记录服务器101发送未包含基准点的现场坐标系坐标的识别信息(基准点识别信息),但也可以采用与第1实施方式同样地发送基准点的现场坐标系坐标来替代基准点识别信息的构成。
另外,在第2实施方式中,在信息记录服务器101侧(坐标转换参数运算部26A)判断基准点的地理坐标系的变化的有无,但也可以将系统构成为,利用各液压挖掘机1的控制器100A的地理坐标系基准点坐标运算部23A判断变化的有无,仅在有变化的情况下向信息记录服务器101发送地理坐标系坐标。
此外,在上述的各实施方式中,设为各液压挖掘机1最终基于现场坐标系坐标执行由信息提示控制部、驾驶辅助控制部进行的各种控制,但也可以最终基于地理坐标系坐标执行各种控制。即,也可以将系统构成为,不仅利用将地理坐标系Co5转换成现场坐标系Co6的坐标转换参数Pr56,也利用将现场坐标系Co6转换成地理坐标系Co5的坐标转换参数Pr65。
另外,上述的控制器100、100A、服务器101的各构成、该各构成的功能和执行处理等也可以利用硬件(例如通过以集成电路设计用于执行各功能的逻辑等)来实现它们的一部分或全部。另外,上述的控制器100、100A、服务器101的构成也可以设为由运算处理装置(例如CPU)读出并执行而实现该控制器/服务器的构成的各功能的程序(软件)。该程序的信息能够存储于例如半导体存储器(闪存、SSD等)、磁存储装置(硬盘驱动器等)以及记录介质(磁盘、光盘等)等。
另外,在上述的各实施方式的说明中,控制线、信息线示出了理解为在该实施方式的说明中需要的线,但未必限于示出了产品的全部控制线、信息线。实际上可以认为几乎全部的构成都相互连接。
附图标记说明
1:液压挖掘机(作业机械),1A:作业机(前作业机),1B:车身,1BA:上部旋转体,1BB:下部行驶体,2:动臂,3:斗杆,4:铲斗,5:动臂缸,6:斗杆缸,7:铲斗缸,10、11:操作杆,12:动臂角度传感器(姿势传感器),13:斗杆角度传感器(姿势传感器),14:铲斗角度传感器(姿势传感器),16:倾斜角传感器(姿势传感器),17:GNSS天线,18:显示监视器(显示装置),19:拍摄装置,20:比例电磁阀,100:控制器,101:信息记录服务器。

Claims (9)

1.一种坐标转换系统,其具备控制器,该控制器利用基于设置于作业现场的基准点的地理坐标系坐标和现场坐标系坐标而生成的坐标转换参数将任意点的地理坐标系坐标转换成现场坐标系坐标,该坐标转换系统的特征在于,具备:
拍摄所述基准点的拍摄装置;和
接收导航信号的GNSS天线,
所述控制器进行以下处理:
基于由所述GNSS天线接收的导航信号、所述拍摄装置与所述GNSS天线之间的距离来运算所述拍摄装置的地理坐标系坐标;
通过对由所述拍摄装置拍摄所述基准点而得到的图像实施图像处理,从而运算从所述拍摄装置到所述基准点的距离和方位;
基于运算出的从所述拍摄装置到所述基准点的距离和方位、运算出的所述拍摄装置的地理坐标系坐标来运算所述基准点的地理坐标系坐标;并且
基于运算出的所述基准点的地理坐标系坐标、所述基准点的现场坐标系坐标来校正所述坐标转换参数。
2.根据权利要求1所述的坐标转换系统,其特征在于,
所述基准点的现场坐标系坐标的信息埋入于设置于所述基准点的标识,
所述拍摄装置将所述标识与所述基准点一起拍摄,
所述控制器基于由所述拍摄装置拍摄所述基准点和所述标识而得到的图像来获取所述基准点的现场坐标系。
3.根据权利要求1所述的坐标转换系统,其特征在于,
所述控制器使所述控制器运算出的所述基准点的地理坐标系坐标与所述基准点的识别信息建立对应,并向经由网络与所述控制器连接的服务器输出。
4.根据权利要求1所述的坐标转换系统,其特征在于,
所述控制器在由所述控制器校正了所述坐标转换参数之际,利用校正后的所述坐标转换参数进行坐标转换。
5.根据权利要求1所述的坐标转换系统,其特征在于,
所述拍摄装置能够上下左右转动,
所述控制器控制所述拍摄装置的朝向,以使所述基准点始终包含于所述拍摄装置的拍摄范围。
6.一种作业机械,其特征在于,
该作业机械是具备权利要求1的坐标转换系统的作业机械,该作业机械具备:
安装有所述GNSS天线的旋转体;
安装于所述旋转体且由液压缸驱动的作业机;以及
检测所述作业机的姿势的姿势传感器,
所述控制器进行以下处理:
基于由所述GNSS天线接收到的导航信号来运算所述旋转体的地理坐标系坐标;
基于所述旋转体的地理坐标系坐标、由所述姿势传感器检测出的所述作业机械的姿势信息来运算设定于所述作业机的控制点的地理坐标系坐标;
利用由所述控制器校正后的所述坐标转换参数将所述控制点的地理坐标系坐标转换成现场坐标系坐标;并且
使现场坐标系坐标中的所述控制点与规定的目标面的位置关系显示于监视器。
7.根据权利要求6所述的作业机械,其特征在于,
所述控制器控制所述液压缸,以使所述作业机位于所述目标面的上方。
8.根据权利要求6所述的坐标转换系统,其特征在于,
所述控制器使所述控制器运算出的所述基准点的地理坐标系坐标与所述基准点的识别信息建立对应,并向经由网络与所述控制器连接的服务器输出。
9.根据权利要求8所述的坐标转换系统,其特征在于,
所述服务器在所述基准点的地理坐标系坐标被更新时根据所述基准点的地理坐标系坐标和所述现场坐标系坐标校正所述坐标转换参数,所述控制器在从所述服务器通知了所述坐标转换参数已被校正这一内容时,接收所述已被校正的所述坐标转换参数,并利用接收到的该坐标转换参数进行所述控制点的坐标转换。
CN201980057605.5A 2018-09-21 2019-06-06 坐标转换系统及作业机械 Pending CN112673284A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018178039A JP7301514B2 (ja) 2018-09-21 2018-09-21 座標変換システム及び作業機械
JP2018-178039 2018-09-21
PCT/JP2019/022620 WO2020059220A1 (ja) 2018-09-21 2019-06-06 座標変換システム及び作業機械

Publications (1)

Publication Number Publication Date
CN112673284A true CN112673284A (zh) 2021-04-16

Family

ID=69886904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057605.5A Pending CN112673284A (zh) 2018-09-21 2019-06-06 坐标转换系统及作业机械

Country Status (6)

Country Link
US (1) US11906641B2 (zh)
EP (1) EP3855217B1 (zh)
JP (1) JP7301514B2 (zh)
KR (1) KR102501073B1 (zh)
CN (1) CN112673284A (zh)
WO (1) WO2020059220A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7178854B2 (ja) * 2018-09-28 2022-11-28 株式会社小松製作所 作業機械のためのシステム及び方法
CN112380663A (zh) * 2020-04-13 2021-02-19 青岛慧拓智能机器有限公司 一种用于电铲计算指定装载点的方法
US11609562B2 (en) * 2020-04-27 2023-03-21 Deere & Company Using generated markings for vehicle control and object avoidance
CN112634354B (zh) * 2020-12-21 2021-08-13 紫清智行科技(北京)有限公司 基于路侧传感器的网联自动驾驶行车风险评估方法与装置
EP4347953A1 (en) * 2021-05-26 2024-04-10 Novatron Oy Method for determining location and orientation of earthworks machine in worksite
CN113624231B (zh) * 2021-07-12 2023-09-12 北京自动化控制设备研究所 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
JP2023011454A (ja) * 2021-07-12 2023-01-24 東亜道路工業株式会社 3d設計データ作成方法、建設工事方法、3d設計データ作成システムおよび3d設計データ作成プログラム
US11746499B1 (en) * 2022-05-10 2023-09-05 AIM Intelligent Machines, Inc. Hardware component configuration for autonomous control of powered earth-moving vehicles

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091298A (ja) * 2003-09-19 2005-04-07 Komatsu Engineering Corp 画像処理を用いたグローバル座標取得装置
JP2007164383A (ja) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd 撮影対象物標識システム
CN101752218A (zh) * 2008-12-05 2010-06-23 东京毅力科创株式会社 基板检查方法、基板检查装置和存储介质
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
WO2016125232A1 (ja) * 2015-02-02 2016-08-11 株式会社小松製作所 作業車両および作業車両の制御方法
CN106029994A (zh) * 2016-03-29 2016-10-12 株式会社小松制作所 校正系统、作业机械和校正方法
CN106568430A (zh) * 2015-10-09 2017-04-19 张琳俐 运土系统的定位方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3014336B2 (ja) * 1997-04-16 2000-02-28 鹿島建設株式会社 遠隔施工支援画像システム
JP3827480B2 (ja) 1999-08-13 2006-09-27 日立建機株式会社 自動運転建設機械およびその位置計測手段の校正方法
EP1452651A1 (en) * 2001-06-20 2004-09-01 Hitachi Construction Machinery Co., Ltd. Remote control system and remote setting system of construction machinery
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
US7242791B2 (en) * 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
US7865285B2 (en) 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
JP5237408B2 (ja) 2011-03-24 2013-07-17 株式会社小松製作所 油圧ショベルの較正システム及び較正方法
JP2013124954A (ja) 2011-12-15 2013-06-24 Kajima Corp 土木構造物の形状計測方法及びシステム
US8972119B2 (en) 2013-03-15 2015-03-03 Novatel Inc. System and method for heavy equipment navigation and working edge positioning
WO2015186214A1 (ja) 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
US9598845B2 (en) 2014-06-04 2017-03-21 Komatsu Ltd. Posture computing apparatus for work machine, work machine, and posture computation method for work machine
EP3845426A1 (en) 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR101733963B1 (ko) * 2015-03-27 2017-05-10 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 교정 장치 및 작업 기계의 작업기 파라미터의 교정 방법
US9617717B2 (en) 2015-06-29 2017-04-11 Komatsu Ltd. Construction machine control system and construction machine control method
JP6543520B2 (ja) 2015-07-02 2019-07-10 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN113463721A (zh) * 2015-08-26 2021-10-01 住友建机株式会社 挖土机、挖土机的测量装置及管理装置
JP6887229B2 (ja) * 2016-08-05 2021-06-16 株式会社小松製作所 施工管理システム
JP6995767B2 (ja) * 2016-10-31 2022-01-17 株式会社小松製作所 計測システム、作業機械及び計測方法
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US10094662B1 (en) * 2017-03-28 2018-10-09 Trimble Inc. Three-dimension position and heading solution
US11195351B2 (en) * 2017-09-01 2021-12-07 Komatsu Ltd. Work machine measurement system, work machine, and measuring method for work machine
US11434623B2 (en) * 2018-09-25 2022-09-06 Hitachi Construction Machinery Co., Ltd. Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine
JP7165638B2 (ja) * 2019-09-25 2022-11-04 日立建機株式会社 作業機械
EP4097552A4 (en) * 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION
JP6966108B2 (ja) * 2020-03-18 2021-11-10 Totalmasters株式会社 建設作業機械の測位較正方法及びその測位較正コントローラ
JP7195663B1 (ja) * 2021-10-15 2022-12-26 Totalmasters株式会社 建設機械の施工表示方法、建設機械の表示制御システムおよび建設機械の表示制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091298A (ja) * 2003-09-19 2005-04-07 Komatsu Engineering Corp 画像処理を用いたグローバル座標取得装置
JP2007164383A (ja) * 2005-12-13 2007-06-28 Matsushita Electric Ind Co Ltd 撮影対象物標識システム
CN101752218A (zh) * 2008-12-05 2010-06-23 东京毅力科创株式会社 基板检查方法、基板检查装置和存储介质
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
WO2016125232A1 (ja) * 2015-02-02 2016-08-11 株式会社小松製作所 作業車両および作業車両の制御方法
CN106568430A (zh) * 2015-10-09 2017-04-19 张琳俐 运土系统的定位方法及装置
CN106029994A (zh) * 2016-03-29 2016-10-12 株式会社小松制作所 校正系统、作业机械和校正方法

Also Published As

Publication number Publication date
WO2020059220A1 (ja) 2020-03-26
EP3855217A1 (en) 2021-07-28
JP2020051029A (ja) 2020-04-02
KR20210036964A (ko) 2021-04-05
EP3855217B1 (en) 2023-07-19
JP7301514B2 (ja) 2023-07-03
US11906641B2 (en) 2024-02-20
US20220026587A1 (en) 2022-01-27
KR102501073B1 (ko) 2023-02-21
EP3855217A4 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
CN112673284A (zh) 坐标转换系统及作业机械
US11120577B2 (en) Position measurement system, work machine, and position measurement method
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
CN106029994B (zh) 校正系统、作业机械和校正方法
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
CN111226009B (zh) 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械
JP6867132B2 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
CN112334733B (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
US20220170243A1 (en) Working machine
CN113874862A (zh) 工程机械
JP7386592B2 (ja) 建設機械の操作補助システム
JPWO2020196674A1 (ja) 作業機械
US20230291989A1 (en) Display control device and display method
US20230267895A1 (en) Display control device and display control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination