CN108700402B - 位置测量系统、作业机械及位置测量方法 - Google Patents

位置测量系统、作业机械及位置测量方法 Download PDF

Info

Publication number
CN108700402B
CN108700402B CN201880000776.XA CN201880000776A CN108700402B CN 108700402 B CN108700402 B CN 108700402B CN 201880000776 A CN201880000776 A CN 201880000776A CN 108700402 B CN108700402 B CN 108700402B
Authority
CN
China
Prior art keywords
image data
stereo
imaging device
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880000776.XA
Other languages
English (en)
Other versions
CN108700402A (zh
Inventor
菅原大树
山口博义
厚见彰吾
金光保雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN108700402A publication Critical patent/CN108700402A/zh
Application granted granted Critical
Publication of CN108700402B publication Critical patent/CN108700402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明涉及一种位置测量系统，包括：图像数据获取部，其获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；立体测量部，其基于第1图像数据、第2图像数据、与第1拍摄装置及第2拍摄装置相关的参数，实施立体测量；第1调整部，其改变参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及第2调整部，其改变参数的至少一部分，对从第1视差图像数据求出的第1三维数据的缩放尺度进行调整。

Description

位置测量系统、作业机械及位置测量方法
技术领域
本发明涉及位置测量系统、作业机械及位置测量方法。
背景技术
在涉及作业机械的技术领域中，已知有如专利文献1所公开那样的、具有立体拍摄装置的液压挖掘机。
专利文献1：日本特开2012-233353号公报
发明内容
立体拍摄装置具有第1拍摄装置及第2拍摄装置，基于三角测量的原理进行三维测量。在立体拍摄装置中，实施对第1拍摄装置和第2拍摄装置的相对位置进行调整的校正处理。立体拍摄装置的校正处理包含使用第1拍摄装置及第2拍摄装置拍摄校准目标的处理。立体拍摄装置的校正处理之后，在第1拍摄装置和第2拍摄装置的相对位置发生了变动的情况下，需要对立体拍摄装置进行再校正处理。在每次进行再校正处理时均需要拍摄校准目标的情况下，再校正处理的作业变得繁杂，导致作业机械的作业效率降低。
本发明的方式的目的在于，顺利地实施再校正处理，并抑制作业效率的降低。
根据本发明的方式，提供一种位置测量系统，包括：图像数据获取部，其获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由上述第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；立体测量部，其基于上述第1图像数据、上述第2图像数据、与上述第1拍摄装置及上述第2拍摄装置相关的参数，实施立体测量；第1调整部，其改变上述参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及第2调整部，其改变上述参数的至少一部分，对从上述第1视差图像数据求出的第1三维数据的缩放尺度进行调整。
根据本发明的方式，能够顺利地进行再校正处理，并抑制作业效率的降低。
附图说明
图1是表示实施方式1涉及的作业机械的一个示例的立体图。
图2是表示实施方式1涉及的立体拍摄装置的一个示例的立体图。
图3是示意性地表示实施方式1涉及的检测系统的一个示例的图。
图4是表示实施方式1涉及的位置测量系统的一个示例的功能框图。
图5是用于说明实施方式1涉及的立体测量方法的一个示例的示意图。
图6是示意性地表示实施方式1涉及的立体拍摄装置的一个示例的图。
图7是示意性地表示由实施方式1涉及的第1拍摄装置拍摄的第1图像数据及由第2拍摄装置拍摄的第2图像数据的一个示例的图。
图8是示意性地表示由实施方式1涉及的第1拍摄装置拍摄的第1图像数据及由第2拍摄装置拍摄的第2图像数据的一个示例的图。
图9是用于说明实施方式1涉及的第1拍摄装置和第2拍摄装置的相对位置的示意图。
图10是示意性地表示实施方式1涉及的在查找失败时的视差图像数据的一个示例的图。
图11是用于说明实施方式1涉及的通过第1调整部进行的立体率的调整处理的一个示例的示意图。
图12是用于说明实施方式1涉及的通过第1调整部进行的立体率的调整方法的一个示例的示意图。
图13是示意性地表示实施方式1涉及的在查找成功时的视差图像数据的一个示例的图。
图14是用于说明实施方式1涉及的通过第2调整部进行的缩放尺度的调整处理的一个示例的示意图。
图15是表示实施方式1涉及的位置测量方法的一个示例的流程图。
图16是示意性地表示实施方式1涉及的拍摄对象的一个示例的图。
图17是示意性地表示基于由实施方式1涉及的第1立体拍摄装置获取的第1图像数据及第2图像数据而生成的视差图像数据的一个示例的图。
图18是表示实施方式1涉及的第1视差图像数据及第2视差图像数据的一个示例的图。
图19是用于说明实施方式1涉及的通过第2调整部进行的缩放尺度的调整方法的一个示例的示意图。
图20是用于说明实施方式2涉及的位置测量方法的一个示例的示意图。
图21是用于说明实施方式3涉及的位置测量方法的一个示例的示意图。
图22是用于说明实施方式3涉及的通过第2调整部进行的缩放尺度的调整方法的一个示例的示意图。
图23是示意性地表示实施方式5涉及的位置测量系统的一个示例的图。
图24是用于说明实施方式6涉及的位置测量方法的一个示例的示意图。
具体实施方式
以下，参照附图，说明本发明涉及的实施方式，不过本发明并不限于此。以下说明的实施方式的结构要素能够适当地组合。此外，也有省略部分结构要素的情况。
在以下的说明中，对三维全局坐标系(Xg，Yg，Zg)、三维车身坐标系(Xm，Ym，Zm)、以及三维拍摄装置坐标系(Xs，Ys，Zs)进行规定，并对各部的位置关系进行说明。
全局坐标系是以地球上固定的原点为基准的坐标系。全局坐标系是由GNSS(Global Navigation Satellite System)规定的坐标系。GNSS是指全球导航卫星系统。作为全球导航卫星系统的一个示例，有GPS(Global Positioning System，全球定位系统)。
全局坐标系由水平面的Xg轴、与Xg轴正交的水平面的Yg轴、与Xg轴及Yg轴正交的Zg轴规定。将以Xg轴为中心的旋转或倾斜方向设为θXg方向，以Yg轴为中心的旋转或倾斜方向设为θYg方向，以Zg轴为中心的旋转或倾斜方向设为θZg方向。Zg轴方向是铅直方向。
车身坐标系由以规定于作业机械的车身上的原点为基准的第1规定面的Xm轴、与Xm轴正交的第1规定面的Ym轴、与Xm轴及Ym轴正交的Zm轴来进行规定。将以Xm轴为中心的旋转或倾斜方向设为θXm方向，以Ym轴为中心的旋转或倾斜方向设为θYm方向，以Zm轴为中心的旋转或倾斜方向设为θZm方向。Xm轴方向是作业机械的前后方向，Ym轴方向是作业机械的车宽方向，Zm轴方向是作业机械的上下方向。
拍摄装置坐标系由以规定于拍摄装置上规定的原点为基准的第2规定面的Xs轴、与Xs轴正交的第2规定面的Ys轴、与Xs轴及Ys轴正交的Zs轴来进行规定。将以Xs轴为中心的旋转或倾斜方向设为θXs方向，以Ys轴为中心的旋转或倾斜方向设为θYs方向，以Zs轴为中心的旋转或倾斜方向设为θZs方向。Xs轴方向是拍摄装置的上下方向，Ys轴方向是拍摄装置的宽度方向，Zs轴方向是拍摄装置的前后方向。Zs轴方向与拍摄装置的光学系统的光轴平行。
实施方式1
作业机械
图1是表示本实施方式涉及的作业机械1的一个示例的立体图。在本实施方式中，对作业机械1是液压挖掘机的示例进行说明。在以下的说明中，可将作业机械1称为液压挖掘机1。
如图1所示，液压挖掘机1具有车身1B和作业机2。车身1B具有回转体3和支承回转体3能够回转的行走体5。
回转体3具有驾驶室4。液压泵及内燃机配置于回转体3。回转体3能够以回转轴Zr为中心回转。回转轴Zr与车身坐标系的Zm轴平行。在本实施方式中，车身坐标系的原点被规定在回转体3的回转支承的中心。回转支承的中心位于回转体3的回转轴Zr。
行走体5具有履带5A、5B。通过履带5A、5B进行旋转，使液压挖掘机1行走。在本实施方式中，车身坐标系的Zm轴与履带5A、5B的触地面正交。车身坐标系的上方(+Zm方向)是远离履带5A、5B的触地面的方向，车身坐标系的下方(-Zm方向)是与车身坐标系的上方相反的方向。
作业机2与回转体3连结。在车身坐标系中，作业机2的至少一部分配置在回转体3的前方。车身坐标系的前方(+Xm方向)是以回转体3为基准的作业机2所在的方向，车身坐标系的后方(-Xm方向)是与车身坐标系的前方相反的方向。
作业机2具有：与回转体3连结的动臂6；与动臂6连结的斗杆7；与斗杆7连结的铲斗8；对动臂6进行驱动的动臂缸10；对斗杆7进行驱动的斗杆缸11；以及对铲斗8进行驱动的铲斗缸12。动臂缸10、斗杆缸11及铲斗缸12分别是通过液压进行驱动的液压缸。
动臂6通过动臂销13与回转体3连结而能够旋转。斗杆7通过斗杆销14与动臂6的前端部连结而能够旋转。铲斗8通过铲斗销15与斗杆7的前端部连结而能够旋转。动臂销13包括动臂6相对于回转体3的旋转轴AX1。斗杆销14包括斗杆7相对于动臂6的旋转轴AX2。铲斗销15包括铲斗8相对于斗杆7的旋转轴AX3。动臂6的旋转轴AX1、斗杆7的旋转轴AX2及铲斗8的旋转轴AX3与车身坐标系的Ym轴平行。
立体拍摄装置
接着，对本实施方式涉及的立体拍摄装置300进行说明。图2是表示本实施方式涉及的立体拍摄装置300的一个示例的立体图。如图2所示，液压挖掘机1具有立体拍摄装置300。立体拍摄装置300是指，通过从多个不同的方向同时对拍摄对象SB进行拍摄，而能够获取拍摄对象SB的纵深方向的数据的拍摄装置。
在本实施方式中，拍摄对象SB包括在施工现场中被施工的施工对象。施工对象包括由液压挖掘机1的作业机2挖掘的挖掘对象。另外，施工对象可以是由与液压挖掘机1不同的作业机械施工的施工对象，也可以是由作业人员施工的施工对象。此外，施工对象是包含施工前的施工对象、施工期间的施工对象、以及施工后的施工对象的概念。
立体拍摄装置300设置于回转体3。在本实施方式中，立体拍摄装置300设置在驾驶室4的内侧。立体拍摄装置300例如配置在驾驶室4的前方(+Xm方向)且上方(+Zm方向)。立体拍摄装置300拍摄液压挖掘机1的前方的拍摄对象SB。
立体拍摄装置300具有多个拍摄装置30。拍摄装置30具有光学系统和图像传感器。图像传感器包括CCD(Couple Charged Device，电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器。在本实施方式中，拍摄装置30包括四个拍摄装置30A、30B、30C和30D。另外，立体拍摄装置300可以不具有四个拍摄装置30，至少具有一对拍摄装置30即可。
由多个拍摄装置30中的两个拍摄装置30的组合构成立体拍摄装置300。在本实施方式中，立体拍摄装置300包括由拍摄装置30A和30B的组合构成的第1立体拍摄装置301、以及由拍摄装置30C和30D的组合构成的第2立体拍摄装置302。
拍摄装置30A和30C配置在与拍摄装置30B和30D相比靠+Ym侧(作业机2侧)。拍摄装置30A和拍摄装置30B在Ym轴方向上隔着间隔地配置。拍摄装置30C和拍摄装置30D在Ym轴方向上隔着间隔地配置。拍摄装置30A和30B配置在与拍摄装置30C和30D相比靠+Zm侧。在Zm轴方向上，拍摄装置30A和拍摄装置30B实质上配置在同一位置。在Zm轴方向上，拍摄装置30C和拍摄装置30D实质上配置在同一位置。
在本实施方式中，拍摄装置30A和30B朝向上方(+Zm方向)。拍摄装置30C和30D朝向下方(-Zm方向)。此外，拍摄装置30A和30C朝向前方(+Xm方向)。拍摄装置30B和30D朝向与前方相比稍微偏向+Ym侧(作业机2侧)。也就是说，拍摄装置30A和30C朝向回转体3的正面，拍摄装置30B和30D朝向拍摄装置30A和30C侧。另外，也可以是拍摄装置30B和30D朝向回转体3的正面，拍摄装置30A和30C朝向拍摄装置30B和30D侧。
拍摄装置30对位于回转体3的前方的拍摄对象SB进行立体拍摄。使用基于一对拍摄装置30的立体图像数据对拍摄对象SB进行三维测量，来计算出拍摄对象SB的三维数据DG。拍摄对象SB的三维数据DG是施工对象的表面即地面的三维数据DG。拍摄对象SB的三维数据DG包含全局坐标系中的拍摄对象SB的三维形状数据。
多个拍摄装置30分别规定有拍摄装置坐标系。拍摄装置坐标系是以拍摄装置30上固定的原点为基准的坐标系。拍摄装置坐标系的Zs轴与拍摄装置30的光学系统的光轴一致。
在以下的说明中，可将第1立体拍摄装置301中的一方的拍摄装置30A称为第1拍摄装置30A，另一方的拍摄装置30B称为第2拍摄装置30B。此外，可将第2立体拍摄装置302中的一方的拍摄装置30C称为第3拍摄装置30C，另一方的拍摄装置30D称为第4拍摄装置30D。
如图2所示，驾驶席4S及操作装置35配置于驾驶室4。操作装置35用于操作作业机2及回转体3而由驾驶人员操作。操作装置35包括右操作杆35R及左操作杆35L。搭乘于驾驶室4的驾驶人员对操作装置35进行操作，来实施作业机2的驱动及回转体3的回转。
检测系统
接着，对本实施方式涉及的液压挖掘机1的检测系统20进行说明。图3是示意性地表示本实施方式涉及的检测系统20的一个示例的图。如图3所示，检测系统20具有：作业机角度检测器22，其检测作业机2的角度；位置检测器23，其检测回转体3的位置；姿势检测器24，其检测回转体3的姿势；以及方位检测器25，其检测回转体3的方位。
位置检测器23包括GPS接收机。位置检测器23设置于回转体3。位置检测器23对作为由全局坐标系规定的回转体3的位置的绝对位置进行检测。回转体3的绝对位置包含Xg轴方向的坐标数据、Yg轴方向的坐标数据和Zg轴方向的坐标数据。
GPS天线21设置于回转体3。GPS天线21例如在车身坐标系的Ym轴方向上配置有两个。GPS天线21从GPS卫星接收电波，并将基于接收到的电波而生成的信号输出到位置检测器23。位置检测器23基于从GPS天线21提供的信号，对作为由全局坐标系规定的GPS天线21的位置的绝对位置进行检测。
位置检测器23基于两个GPS天线21的绝对位置中的至少一方实施运算处理，来计算出回转体3的绝对位置。回转体3的绝对位置可以是一个GPS天线21的绝对位置，也可以是一个GPS天线21的绝对位置与另一个GPS天线21的绝对位置之间的位置。
姿势检测器24包括惯性测量装置(IMU：Inertial Measurement Unit)。姿势检测器24设置于回转体3。姿势检测器24对回转体3相对于由全局坐标系规定的水平面(XgYg平面)的倾斜角度进行计算。回转体3相对于水平面的倾斜角度包含回转体3在以Ym轴为中心的旋转方向上的倾斜角度、以及回转体3在以Xm轴为中心的旋转方向上的倾斜角度。
姿势检测器24对作用于姿势检测器24的加速度及角速度进行检测。通过对作用于姿势检测器24的加速度及角速度进行检测，能够检测作用于回转体3的加速度及角速度。基于作用于回转体3的加速度及角速度，能够导出回转体3的姿势。
方位检测器25基于一个GPS天线21的绝对位置和另一个GPS天线21的绝对位置，对回转体3相对于由全局坐标系规定的基准方位的方位进行计算。基准方位例如是“北”。方位检测器25对连接一个GPS天线21的绝对位置和另一个GPS天线21的绝对位置的直线进行计算，并基于由计算出的直线与基准方位形成的角度，对回转体3相对于基准方位的方位进行计算。回转体3相对于基准方位的方位包含表示由基准方位与回转体3的方位形成的角度的方位角。
作业机2具有：动臂行程传感器16，其配置在动臂缸10上，对表示动臂缸10的驱动量的动臂行程进行检测；斗杆行程传感器17，其配置于斗杆缸11，对表示斗杆缸11的驱动量的斗杆行程进行检测；以及铲斗行程传感器18，其配置于铲斗缸12，对表示铲斗缸12的驱动量的铲斗行程进行检测。
作业机角度检测器22对动臂6的角度、斗杆7的角度及铲斗8的角度进行检测。作业机角度检测器22基于由动臂行程传感器16检测出的动臂行程，对表示动臂6相对于车身坐标系的Zm轴的倾斜角度的动臂角度进行计算。作业机角度检测器22基于由斗杆行程传感器17检测出的斗杆行程，对表示斗杆7相对于动臂6的倾斜角度的斗杆角度进行计算。作业机角度检测器22基于由铲斗行程传感器18检测出的铲斗行程，对表示铲斗8的齿尖8BT相对于斗杆7的倾斜角度的铲斗角度进行计算。
另外，动臂角度、斗杆角度及铲斗角度例如也可以由设置于作业机2的角度传感器来检测，而不使用行程传感器。
位置测量系统
接着，对本实施方式涉及的位置测量系统50进行说明。图4是表示本实施方式涉及的位置测量系统50的一个示例的功能框图。在本实施方式中，位置测量系统50设置于液压挖掘机1。
位置测量系统50具备：包括第1立体拍摄装置301及第2立体拍摄装置302的立体拍摄装置300、作业机角度检测器22、位置检测器23、姿势检测器24、方位检测器25、显示装置26和控制装置100。控制装置100设置于液压挖掘机1的回转体3。
显示装置26包括如液晶显示器(LCD：Liquid Crystal Display)或有机EL显示器(OELD：Organic Electroluminescence Display，有机电致发光显示器)那样的平板显示器。
控制装置100包括计算机系统。控制装置100具有：包括如CPU(CentralProcessing Unit，中央处理单元)那样的处理器的运算处理装置、如RAM(Random AccessMemory，随机存取存储器)那样的易失性存储器及如ROM(Read Only Memory，只读存储器)那样的非易失性存储器的存储装置、以及输入输出接口。
控制装置100具有：图像数据获取部101、立体测量部102、第1调整部103、第2调整部104、位置数据计算部105、作业机位置数据计算部106、地图数据生成部107、显示控制部108、存储部109和输入输出部110。
运算处理装置具有图像数据获取部101、立体测量部102、第1调整部103、第2调整部104、位置数据计算部105、作业机位置数据计算部106、地图数据生成部107及显示控制部108各个部的功能。存储装置具有存储部109的功能。输入输出接口具有输入输出部110的功能。
立体拍摄装置300、作业机角度检测器22、位置检测器23、姿势检测器24、方位检测器25及显示装置26与输入输出部110连接。在图像数据获取部101、立体测量部102、第1调整部103、第2调整部104、位置数据计算部105、作业机位置数据计算部106、地图数据生成部107、显示控制部108、存储部109、立体拍摄装置300、作业机角度检测器22、位置检测器23、姿势检测器24、方位检测器25、显示装置26之间能够通过输入输出部110进行数据通信。
图像数据获取部101获取由设置于液压挖掘机1的第1拍摄装置30A拍摄的拍摄对象SB的第1图像数据MR1、由第2拍摄装置30B拍摄的拍摄对象SB的第2图像数据ML1、由第3拍摄装置30C拍摄的拍摄对象SB的第3图像数据MR2、以及由第4拍摄装置30D拍摄的拍摄对象SB的第4图像数据ML2。也就是说，图像数据获取部101获取由立体拍摄装置300中的至少一对拍摄装置30拍摄的立体图像数据。
存储部109存储与第1立体拍摄装置301的第1拍摄装置30A及第2拍摄装置30B相关的多个参数、以及与第2立体拍摄装置302的第3拍摄装置30C及第4拍摄装置30D相关的多个参数。参数能够通过规定的校正作业来求取。
参数包含对第1立体拍摄装置301的第1拍摄装置30A与第2拍摄装置30B的相对位置进行规定的多个外部参数、以及对第2立体拍摄装置302的第3拍摄装置30C与第4拍摄装置30D的相对位置进行规定的多个外部参数。
外部参数包含用于表示与Xs轴方向、Ys轴方向、Zs轴方向、θXs轴方向、θYs轴方向及θZs轴方向六个方向相关的立体拍摄装置300中的一对拍摄装置30的相对位置的参数。
此外，参数包含第1拍摄装置30A、第2拍摄装置30B、第3拍摄装置30C及第4拍摄装置30D各个装置的内部参数。内部参数对多个拍摄装置30各个装置的固有数据进行规定。内部参数例如包含拍摄装置30的光学系统的焦点距离、以及拍摄装置30的光学系统的光轴和图像传感器的摄像面的交点与图像传感器中的图像中心的位置偏移量。
立体测量部102对由图像数据获取部101获取的第1图像数据MR1和第2图像数据ML1进行立体方式图像处理，来计算出拍摄装置坐标系中的拍摄对象SB的三维数据DG。此外，立体测量部102对由图像数据获取部101获取的第3图像数据MR2和第4图像数据ML2进行立体方式图像处理，来计算出拍摄装置坐标系中的拍摄对象SB的三维数据DG。
此外，立体测量部102对拍摄装置坐标系中的拍摄对象SB的三维数据DG进行坐标变换，来计算出车身坐标系中的拍摄对象SB的三维数据DG。此外，立体测量部102对车身坐标系中的拍摄对象SB的三维数据DG进行坐标变换，来计算出全局坐标系中的拍摄对象SB的三维数据DG。
拍摄对象SB的三维数据DG包含拍摄对象SB内的多个点处的坐标数据。立体测量部102对由两个不同的拍摄装置30拍摄的拍摄对象SB的两个图像数据MR(MR1、MR2)和ML(ML1、ML2)进行立体方式图像处理来生成视差图像数据SG，并通过运算处理来求取三维数据DG。
在本实施方式中，立体测量部102基于由图像数据获取部101获取的第1图像数据MR1、由图像数据获取部101获取的第2图像数据ML1、以及存储在存储部109中的参数，实施立体测量。此外，立体测量部102基于由图像数据获取部101获取的第3图像数据MR2、由图像数据获取部101获取的第4图像数据ML2、以及存储在存储部109中的参数，实施立体测量。
第1调整部103改变存储在存储部109中的多个参数的至少一部分，来调整立体率。立体率表示被立体测量的视差图像数据SG的多个像素中立体测量成功的像素的比率。在本实施方式中，第1调整部103例如在立体拍摄装置300中的一方的拍摄装置30的位置发生偏移而立体率降低的情况下，以提高立体率的方式，改变存储在存储部109中的参数。
第2调整部104改变存储在存储部109中的多个参数的至少一部分，来调整由立体测量部102生成的三维数据DG的缩放尺度。在本实施方式中，第2调整部104以使基准缩放尺度与三维数据DG的缩放尺度之差变小的方式，改变存储在存储部109中的参数。
位置数据计算部105基于回转体3的位置数据、回转体3的姿势数据、回转体3的方位数据和车身坐标系中的拍摄装置30的位置数据，对全局坐标系中的拍摄装置30的位置数据进行计算。
位置数据计算部105从位置检测器23获取回转体3的位置数据，从姿势检测器24获取回转体3的姿势数据，从方位检测器25获取回转体3的方位数据。回转体3的位置数据表示全局坐标系中的回转体3的绝对位置。回转体3的姿势数据表示全局坐标系中的回转体3的姿势。回转体3的方位数据表示全局坐标系中的回转体3的方位。
存储部109存储车身坐标系中的拍摄装置30的位置数据。在车身坐标系中的拍摄装置30的位置数据是从液压挖掘机1及拍摄装置30的设计数据或规格数据导出的已知数据，存储在存储部109中。位置数据计算部105基于回转体3的位置数据、回转体3的姿势数据和回转体3的方位数据，对全局坐标系中的车身坐标系的原点的位置进行计算。位置数据计算部105基于回转体3的位置数据、回转体3的姿势数据、回转体3的方位数据和存储在存储部109中的车身坐标系中的拍摄装置30的位置数据，对全局坐标系中的拍摄装置30的位置数据进行计算。
作业机位置数据计算部106从作业机角度检测器22获取表示作业机2的角度的作业机角度数据。作业机角度数据包含动臂角度、斗杆角度及铲斗角度。作业机位置数据计算部106基于从作业机角度检测器22获取的作业机角度数据和存储在存储部109中的作业机数据，对车身坐标系中的动臂6的位置数据、斗杆7的位置数据及铲斗8的位置数据进行计算。动臂6、斗杆7及铲斗8各自的位置数据包含动臂6的多个部位、斗杆7的多个部位及铲斗8的多个部位的各个部位的坐标数据。
此外，作业机位置数据计算部106基于回转体3的位置数据、回转体3的姿势数据、回转体3的方位数据、作业机角度数据和存储在存储部109中的作业机数据，对全局坐标系中的动臂6、斗杆7及铲斗8各自的位置数据进行计算。
作业机数据包含作业机2的设计数据或规格数据。作业机2的设计数据包含作业机2的三维CAD数据。作业机数据包含作业机2的外形数据及作业机2的尺寸数据中的至少一方。作业机数据包含动臂长度、斗杆长度及铲斗长度。动臂长度是旋转轴AX1与旋转轴AX2之间的距离。斗杆长度是旋转轴AX2与旋转轴AX3之间的距离。铲斗长度是旋转轴AX3与铲斗8的齿尖8BT之间的距离。
地图数据生成部107基于视差图像数据SG，生成三维数据DG。三维数据DG包含视差图像数据SG、车身坐标系等的三维数据、以及后述的三维地图数据(海拔地图数据)。
显示控制部108使显示装置26显示由图像数据获取部101获取的第1图像数据MR1、第2图像数据ML1、第3图像数据MR2及第4图像数据ML2。此外，显示控制部108使显示装置26显示由立体测量部102生成的视差图像数据SG。此外，显示控制部108使显示装置26显示由地图数据生成部107生成的三维数据DG。
立体测量
接着，对立体测量进行说明。图5是用于说明本实施方式涉及的立体测量方法的一个示例的示意图。立体测量是对由图像数据获取部101获取的图像数据MR(MR1、MR2)和图像数据ML(ML1、ML2)进行立体方式图像处理，来计算出拍摄对象的三维数据DG的处理。
在以下的说明中，可将构成立体拍摄装置300的一方的拍摄装置30称为第1拍摄装置30R(30A、30C)，将另一方的拍摄装置30称为第2拍摄装置30L(30B、30D)。此外，在以下的说明中，可将由第1拍摄装置30R(30A、30C)拍摄的图像数据MR称为第1图像数据MR(MR1、MR2)，将由第2拍摄装置30L(30B、30D)拍摄的图像数据ML称为第2图像数据(ML1、ML2)。借助第1立体拍摄装置301的第1拍摄装置30A及第2拍摄装置30B计算出三维数据DG的方法、与借助第2立体拍摄装置302的第3拍摄装置30C及第4拍摄装置30D计算出三维数据DG的方法相同。
另外，在本实施方式中，右侧的拍摄装置30为第1拍摄装置30R，左侧的拍摄装置30为第2拍摄装置30L，不过也可以是左侧的拍摄装置30为第1拍摄装置30R，右侧的拍摄装置30为第2拍摄装置30L。
第1拍摄装置30R的位置数据及第2拍摄装置30L的位置数据存储在存储部109中。第1拍摄装置30R的位置数据包含第1拍摄装置30R的光学中心OR的位置及第1拍摄装置30R的光学系统的光轴的朝向。第2拍摄装置30L的位置数据包含第2拍摄装置30L的光学中心OL的位置及第2拍摄装置30L的光学系统的光轴的朝向。
此外，第1拍摄装置30R与第2拍摄装置30L的相对位置数据存储在存储部109中。第1拍摄装置30R与第2拍摄装置30L的相对位置数据包含将第1拍摄装置30R的光学中心OR与第2拍摄装置30L的光学中心OL连接的基线BL的尺寸。
在图5中，存在于三维空间内的拍摄对象SB的测量点P的像点分别被投影在第1拍摄装置30R的投影面及第2拍摄装置30L的投影面上。此外，测量点P的像点及第2拍摄装置30L的投影面的点EL的像点被投影在第1拍摄装置30R的投影面上，规定出核线。同样地，测量点P的像点及第1拍摄装置30R的投影面的点ER的像点被投影在第2拍摄装置30L的投影面上，规定出核线。此外，由测量点P、点ER、点EL规定出核面。
第1拍摄装置30R的投影面包含第1拍摄装置30R的图像传感器的摄像面。第2拍摄装置30L的投影面包含第2拍摄装置30L的图像传感器的摄像面。
图像数据获取部101获取由第1拍摄装置30R拍摄的第1图像数据MR、由第2拍摄装置30L拍摄的第2图像数据ML。由第1拍摄装置30R拍摄的第1图像数据MR及由第2拍摄装置30B拍摄的第2图像数据ML分别是投影在投影面的二维图像数据。
由图像数据获取部101获取到的第1图像数据MR及第2图像数据ML被输出到立体测量部102。立体测量部102基于拍摄装置坐标系中规定的第1图像数据MR中的测量点P的像点的坐标数据、第2图像数据ML中的测量点P的像点的坐标数据、以及核面，对拍摄装置坐标系中的测量点P的三维坐标数据进行计算。
立体测量部102基于第1图像数据MR及第2图像数据ML，对拍摄对象SB的多个测量点P的各个点的三维坐标数据进行计算。由此，能够计算出拍摄对象SB的三维数据DG。
在本实施方式中，立体测量部102在通过实施立体测量计算出拍摄装置坐标系中的多个测量点P的三维坐标数据之后进行坐标变换，由此计算出车身坐标系中的多个测量点P的三维坐标数据、以及全局坐标系中的多个测量点P的三维坐标数据。
到测量点的距离的计算
立体测量部102对第1图像数据MR及第2图像数据ML进行立体方式图像处理，来计算出拍摄对象SB的三维数据DG。立体测量部102基于三角测量的原理，对从立体拍摄装置300的基线BL到拍摄对象SB的测量点P的距离ZP进行计算。
图6是示意性地表示本实施方式涉及的立体拍摄装置300的一个示例的图。如图6所示，例如能够将立体拍摄装置300的第1拍摄装置30R和第2拍摄装置30L配置在与拍摄装置坐标系的Ys轴平行的方向上。在这种情况下，第1拍摄装置30R的拍摄装置坐标系的Ys轴和第2拍摄装置30L的拍摄装置坐标系的Ys轴被配置在同一直线上，并朝向相同方向。
第1拍摄装置30R具有图像传感器31R。拍摄装置坐标系中的第1拍摄装置30R的原点被规定在光学中心OR。第1拍摄装置30R的光学系统的光轴与Zs轴平行，并通过光学中心OR。包含拍摄对象SB的第1图像数据MR由第1拍摄装置30R获取。
第2拍摄装置30L具有图像传感器31L。拍摄装置坐标系中的第2拍摄装置30L的原点被规定在光学中心OL。第2拍摄装置30L的光学系统的光轴与Zs轴平行，并通过光学中心OL。包含拍摄对象SB的第2图像数据ML由第2拍摄装置30L获取。
在图6中，设定有以第2拍摄装置30L的光学中心OL为原点的三维坐标系(X，Y，Z)。X轴与Xs轴实质上是平行的。Y轴与Ys轴实质上是平行的。Z轴与Zs轴实质上是平行的。
在图6中，被规定在图像传感器31R的摄像面上的第1拍摄装置30R的投影面和被规定在图像传感器31L的摄像面上的第2拍摄装置30L的投影面，被配置在同一平面内。此外，在Z轴方向上，第1拍摄装置30R的投影面和第2拍摄装置30L的投影面被配置在相同位置。
第1图像数据MR包含形成在第1拍摄装置30R的投影面上的拍摄对象SB的投影图像。第2图像数据ML包含形成在第2拍摄装置30L的投影面上的拍摄对象SB的投影图像。
基线BL的尺寸为b。由第1拍摄装置30R拍摄的第1图像数据MR中包含测量点P的像素PXr在Y轴方向上的位置为YR。由第2拍摄装置30B拍摄的第2图像数据ML中包含测量点P的像素PXl在Y轴方向上的位置为YL。第2拍摄装置30L的投影面与基线BL在Z轴方向上的距离为f。另外，距离f与第2拍摄装置30L的光学系统的焦点距离相等。
表示第1图像数据MR中的测量点P的投影点与第2图像数据ML中的测量点P的投影点的距离的视差为d。视差d可以是包含测量点P的像素PXr与包含测量点P的像素PXl的偏移量(单位：pixel)，也可以是包含测量点P的像素PXr、包含测量点P的像素PXl与像素PXr之间的距离。
基于式(1)，能够计算出从立体拍摄装置300的基线BL到拍摄对象SB的测量点P的距离ZP。
Figure BDA0001720460040000171
视差图像数据
图7及图8是示意性地表示由本实施方式涉及的第1拍摄装置30R拍摄的第1图像数据MR及由第2拍摄装置30L拍摄的第2图像数据ML的一个示例的图。
如图7及图8所示，由于表示第1图像数据MR中的测量点P的投影点与第2图像数据ML中的测量点P的投影点的距离的视差d，因此第1图像数据MR中的测量点P的位置与第2图像数据ML中的测量点P的位置在Ys轴方向上是不同的。如图7所示，视差d是指，第1图像数据MR中的测量点P的投影点(像素)与第2图像数据ML中的测量点P的投影点(像素)在Ys轴方向上的偏移量。
立体测量部102对第1图像数据MR和第2图像数据ML进行立体方式图像处理，来生成拍摄对象SB的视差图像数据SG。具体而言，立体测量部102对第1图像数据MR及第2图像数据ML实施立体对应点查找。立体对应点查找是指，分别在第1图像数据MR及第2图像数据ML中，查找投影了同一测量点P的像素PXr及像素PXl的处理。
立体测量部102将第1图像数据MR作为基准图像数据，将第2图像数据ML作为参照图像数据。如图8所示，对于包含测量点P的投影点的第1图像数据MR的像素PXr，立体测量部102从第2图像数据ML中查找包含同一测量点P的投影点的像素PXl。在本实施方式中，立体测量部102从第2图像数据ML的核线上存在的多个像素PXl中，查找包含测量点P的投影点的像素PMl。
另外，立体对应点查找所使用的像素PXr和PXl可以是图像传感器的一个像素，也可以是多个像素的集合体。
在以下的说明中，可将第1图像数据MR中包含测量点P的投影点的像素PXr称为注目像素PXr，将第2图像数据ML中包含同一测量点P的投影点的像素PXl称为对应像素PXl。
此外，在以下的说明中，可将查找注目像素PXr的对应像素PXl的结果为查找对应像素PXl成功的状态称为查找成功。此外，可将查找注目像素PXr的对应像素PXl的结果为查找对应像素PXl失败的状态称为查找失败。
在查找成功时，立体测量部102能够基于注目像素PXr与对应像素PXl的距离，求取视差d(例如，偏移的像素的数量)。在式(1)中，基线BL的尺寸b及焦点距离f是从拍摄装置30的设计数据或规格数据导出的已知数据，存储在存储部109中。因此，在查找成功而计算出视差d时，立体测量部102能够基于存储在存储部109中的尺寸b及焦点距离f和计算出的视差d，计算出到测量点P的距离ZP。
另一方面，在查找失败时，立体测量部102无法计算出视差d，也无法计算出到测量点P的距离ZP。
在查找成功时，立体测量部102基于查找成功了的注目像素PXr及对应像素PXl，生成像素PXs。另一方面，在查找失败时，立体测量部102基于查找失败了的注目像素PXr及对应像素PXl，生成像素PXs。
立体测量部102对第1图像数据MR的多个像素PXr分别实施立体对应点查找。由此，生成出多个像素PXs，并生成出将多个像素PXs二维排列的视差图像数据SG。视差图像数据SG是指，由立体测量部102计算出的、使各像素PXs中的视差的大小可视化的图像数据，例如是如图8所示那样，根据视差的大小，以灰色的浓淡(视差大时较白、视差小时较黑地显示)来表示各像素的图像数据。视差图像数据SG可以是浓淡以外的表示方法，也可以例如由根据视差的大小而发生变化的色彩来表示。
立体测量部102可以将表示查找成功的成功数据赋予基于查找成功了的注目像素PXr及对应像素PXl而生成的像素PXs，将表示查找失败的失败数据赋予基于查找失败了的注目像素PXr及对应像素PXl而生成的像素PXs。由于将失败数据赋予像素PXs，像素PXs例如较黑地显示。
在以下的说明中，将基于查找成功了的注目像素PXr及对应像素PXl而生成的像素PXs简称为查找成功的像素PXs，将基于查找失败了的注目像素PXr及对应像素PXl而生成的像素PXs简称为查找失败的像素PXs。
立体测量部102能够基于视差d而分别表示查找成功的多个像素PXs，来生成视差图像。此外，立体测量部102能够基于距离ZP表示查找成功的多个像素PXs的每一个，来生成距离图像。距离图像可以是以某种形式将从拍摄装置30到对象点P的距离ZP分别存储在图像数据中的各个像素PXs中而得到的图像数据，也可以是可视性地表示各个像素PXs的从拍摄装置30到对象点P的距离ZP的图像。视差图像数据SG包含距离图像数据。
立体率
接着，对立体率进行说明。立体率是指，例如由立体测量部102生成的视差图像数据SG的多个像素PXs中立体测量成功的像素PXs的比率。立体测量成功的像素PXs是指，对注目像素PXr进行立体对应点查找的结果为查找对应像素PXl成功，并基于该注目像素PXr和查找成功的对应像素PXl而生成的像素PXs。
立体率STR由以下的式(2)表示。
Figure BDA0001720460040000201
在式(2)中，PXA是视差图像数据SG的像素PXs的总数。PXS是视差图像数据SG中立体测量成功的像素PXs的总数。
另外，也可以将从视差图像数据SG的全部像素PXs去除相当于不存在图案的区域的像素PXs后的像素PXs作为式(2)的分母。
另外，立体率STR也可以是视差图像数据SG中立体测量成功的像素PXs的总数。
参数
接着，说明存储在存储部109中的对第1拍摄装置30R与第2拍摄装置30L的相对位置进行规定的参数。在以下的说明中，第1拍摄装置30R为基准拍摄装置，第2拍摄装置30L为参照拍摄装置。
图9是用于说明本实施方式涉及的立体拍摄装置300的第1拍摄装置30R与第2拍摄装置30L的相对位置的示意图。如图9所示，第1拍摄装置30R和第2拍摄装置30L可以配置在例如与Ys轴平行的方向上。
在本实施方式中，预先求取与第1拍摄装置30R及第2拍摄装置30L相关的多个参数，并存储在存储部109中。在本实施方式中，存储部109存储对第1拍摄装置30R与第2拍摄装置30L的相对位置进行规定的多个外部参数。
外部参数包含第2拍摄装置30L相对于第1拍摄装置30R的旋转方向的参数α、β、γ、以及第2拍摄装置30L相对于第1拍摄装置30R的平移方向的参数Tx、Ty、Tz。
参数α表示在θXs方向上的第2拍摄装置30L的光学系统的光轴相对于第1拍摄装置30R的相对角度。参数β表示在θYs方向上的第2拍摄装置30L的光学系统的光轴相对于第1拍摄装置30R的相对角度。参数γ在θZs方向上的第2拍摄装置30L的光学系统的光轴相对于第1拍摄装置30R的相对角度。
在以下的说明中，可将参数α称为横摆角α，将参数β称为俯仰角β，将参数γ称为侧倾角γ。
参数Tx表示在Xs轴方向上的第2拍摄装置30L相对于第1拍摄装置30R的相对位置。参数Ty表示在Ys轴方向上的第2拍摄装置30L相对于第1拍摄装置30R的相对位置。参数Tz表示在Zs轴方向上的第2拍摄装置30L相对于第1拍摄装置30R的相对位置。
在以下的说明中，可将参数Tx称为位移量Tx，将参数Ty称为位移量Ty，将参数Tz称为位移量Tz。
在本实施方式中，存储部109存储横摆角α、俯仰角β、侧倾角γ、位移量Tx、位移量Ty及位移量Tz作为外部参数。
第1拍摄装置30R与第2拍摄装置30L的相对位置由包含上述多个外部参数的下式(3)规定。
Figure BDA0001720460040000221
在式(3)中，(x1，y1，z1)表示第1拍摄装置30R的拍摄装置坐标系中的第1拍摄装置30R的坐标。(x2，y2，z2)表示第2拍摄装置30L的拍摄装置坐标系中的第2拍摄装置30L的坐标。
式(3)包含分别由横摆角α、俯仰角β及侧倾角γ规定的三个旋转矩阵、以及由位移量Tx、位移量Ty及位移量Tz规定的平移矢量。式(3)是将第2拍摄装置30L的拍摄装置坐标系中的第2拍摄装置30L的位置，转换为第1拍摄装置30R的拍摄装置坐标系中的位置的转换式。
在本实施方式中，基于式(3)，规定第1拍摄装置30R与第2拍摄装置30L的相对位置。第1调整部103及第2调整部104对横摆角α、俯仰角β、侧倾角γ、位移量Tx、位移量Ty及位移量Tz中的至少一个进行调整，由此能够在第1拍摄装置30R的拍摄装置坐标系中调整第1拍摄装置30R与第2拍摄装置30L的相对位置。
在液压挖掘机1出厂时，以使立体率为立体阈值以上的方式，调整了第2拍摄装置30L相对于第1拍摄装置30R的横摆角α、俯仰角β、侧倾角γ、位移量Tx、位移量Ty及位移量Tz。立体阈值是针对立体率规定的阈值。在以下的说明中，可将以使立体率为立体阈值以上的方式调整第1拍摄装置30R与第2拍摄装置30L的相对位置的处理，称为外部校正处理。
包含外部校正处理中导出的横摆角α、俯仰角β、侧倾角γ、位移量Tx、位移量Ty及位移量Tz的转换式，在液压挖掘机1出厂时存储在存储部109中。
立体测量部102使用存储在存储部109中的参数，对第1图像数据MR和第2图像数据ML进行立体方式图像处理，来生成视差图像数据SG。
在搭载有实施了外部校正处理的立体拍摄装置300的液压挖掘机1出厂之后，例如由于振动、冲击或热那样的外部原因，拍摄装置30有可能会物理性地移动。由于外部原因，例如相对于第1拍摄装置30R及第2拍摄装置30L的一方的拍摄装置30，另一方的拍摄装置30在Xs轴方向、Ys轴方向、Zs轴方向、θXs方向、θYs方向及θZs方向中的至少一个方向上的位置有可能会发生偏移。
在第1拍摄装置30R与第2拍摄装置30L的相对位置物理性地变动了的情况下，由在出厂时存储在存储部109中的外部参数规定的第1拍摄装置30R与第2拍摄装置30L的相对位置和在拍摄装置30移动之后实际的第1拍摄装置30R与第2拍摄装置30L的相对位置之间产生差异。在这种情况下，即使通过立体测量对第1图像数据MR和第2图像数据ML进行对应点查找，查找失败的可能性较高。其结果，立体率降低，难以可靠地进行拍摄对象SB的立体测量。
在本实施方式中，在第1拍摄装置30R及第2拍摄装置30L中的至少一方的拍摄装置30的位置发生偏移而立体率降低的情况下，第1调整部103以使立体率再度提高的方式，改变在式(3)中包含的多个外部参数的至少一部分。此外，在第1拍摄装置30R及第2拍摄装置30L中的至少一方的拍摄装置30的位置发生偏移而立体拍摄装置300的测量结果的缩放尺度(从拍摄装置30到测量点P的距离或缩放尺度)变得不正确的情况下，第2调整部104改变在式(3)中包含的多个外部参数的至少一部分，来调整三维数据DG的缩放尺度。
也就是说，在本实施方式中，在拍摄装置30的位置物理性地移动了的情况下，控制装置100改变存储在存储部109中的外部参数，并通过运算处理对第1拍摄装置30R与第2拍摄装置30L的相对位置的变动进行自动校正。
立体率的调整
接着，对本实施方式涉及的立体率的调整进行说明。第1调整部103调整外部参数，并实施立体率的调整处理。
显示控制部108使显示装置26显示由立体测量部102生成的视差图像数据SG。立体测量部102将用于进行灰色显示的成功数据赋予查找成功的像素PXs，并将用于进行黑色显示的失败数据赋予查找失败的像素PXs。
图10是示意性地表示本实施方式涉及的查找失败时的视差图像数据SG的一个示例的图。在立体拍摄装置300的第1拍摄装置30R与第2拍摄装置30L的相对位置物理性地变动了的情况下，即使对第1图像数据MR和第2图像数据ML进行立体对应点查找，查找失败的可能性也较高。其结果，如图10所示，立体率降低，视差图像数据SG的大部分的像素PXs由黑色显示。
图11是用于说明本实施方式涉及的通过第1调整部103进行的立体率的调整处理的一个示例的示意图。在立体率降低时，第1调整部103改变存储在存储部109中的多个外部参数中的例如俯仰角β。如图11所示，通过调整外部参数的俯仰角β，第2拍摄装置30L模拟地在θYs方向上旋转。
如上所述，在立体对应点查找中，立体测量部102从第2图像数据ML的核线上存在的多个像素PXl中查找包含测量点P的投影点的像素PXl。在本实施方式中，第1拍摄装置30R和第2拍摄装置30L被配置在Ys轴方向上，核线在Ys轴方向上延伸。在第1拍摄装置30R和第2拍摄装置30L被配置在Ys轴方向上的情况下，立体处理中是否成功查找由于俯仰角β的偏移而受到较大的影响。因此，第1调整部103通过改变外部参数的俯仰角β，能够对包含测量点P的投影点的对应像素PXl存在的可能性较高的核线上的多个像素PXl进行查找。
第1调整部103以使视差图像数据SG的立体率提高的方式，调整俯仰角β。在本实施方式中，存储部109存储基准俯仰角β0。基准俯仰角β0是在出厂时的外部校正处理中，以使立体率变成最大或立体阈值以上的方式调整出的俯仰角β。第1调整部103在包含基准俯仰角β0的规定范围内改变第2拍摄装置30L的俯仰角β，来例如对立体率的最大值进行计算。
图12是用于说明本实施方式涉及的通过第1调整部103进行的立体率的调整方法的一个示例的示意图。在图12所示的图表中，横轴表示外部参数的俯仰角β，纵轴表示立体率。
第1调整部103以基准俯仰角β0为基准，在正方向及负方向的规定范围内，按照规定角度改变俯仰角β。立体测量部102在每次改变俯仰角β时，对立体率进行计算。如图12所示，立体率根据俯仰角β的变更而发生变化。第1调整部103将例如在规定范围内得到立体率的最大值时的俯仰角β确定为正确俯仰角βr。
另外，确定正确俯仰角βr的方法也可以不是上述方法。只要是立体率为立体阈值以上的俯仰角β，也可以将任意的俯仰角β设为正确俯仰角βr。
图13是示意性地表示本实施方式涉及的在查找成功时的视差图像数据SG的一个示例的图。第1调整部103将存储在存储部109中的俯仰角β(基准俯仰角β0)改变为正确俯仰角βr。也就是说，式(3)的旋转矩阵的俯仰角β从基准俯仰角β0被改变为正确俯仰角βr。立体测量部102基于第1图像数据MR、第2图像数据ML、包含正确俯仰角βr的外部参数，实施立体测量，并生成视差图像数据SG。由于俯仰角β从基准俯仰角β0被改变为正确俯仰角βr，使存储在存储部109中的外部参数被优化为最适合于相对位置物理性地变动之后的第1拍摄装置30R及第2拍摄装置30L。因此，在立体拍摄装置300的第1拍摄装置30R与第2拍摄装置30L的相对位置物理性地变动之后，在立体测量部102使用第1图像数据MR和第2图像数据ML进行立体对应点查找时，查找成功的可能性变高。由此，如图13所示，立体率提高，视差图像数据SG的大部分的像素PXs由灰色显示。
缩放尺度的调整
接着，对本实施方式涉及的立体率的调整进行说明。第2调整部104调整外部参数，并实施三维数据DG的缩放尺度的调整处理。
立体率的调整是通过改变外部参数来模拟地调整物理性地位置变动了的拍摄装置30的位置，由此提高立体率的处理。但是，仅提高立体率的话，实际的现状地形与由立体拍摄装置300测量出的三维数据DG的缩放尺度之差较大，还无法得到足够的测量精度。因此，在本实施方式中，对通过上述方法而提高了立体率的三维数据DG的缩放尺度实施调整。缩放尺度的调整是把握三维数据DG位于从立体拍摄装置300离开多少距离的位置，并以使其与实际的现状地形一致的方式进行调整的处理。通过调整缩放尺度，能够得到与实际的现状地形一致的、精度较高或误差较小的三维数据DG。
图14是用于说明本实施方式涉及的通过第2调整部104进行的缩放尺度的调整处理的一个示例的示意图。在调整三维数据DG的缩放尺度时，第2调整部104改变存储在存储部109中的多个外部参数中的例如横摆角α。如图14所示，通过调整外部参数的横摆角α，第2拍摄装置30L模拟地在θXs方向上旋转。
在本实施方式中，第1拍摄装置30R和第2拍摄装置30L被配置在Ys轴方向上，并基于三角测量的原理，计算出到测量点P的距离ZP。因此，第2调整部104通过改变第2拍摄装置30L的外部参数的横摆角α，能够对视差图像数据SG中投影了测量点P的像素的视差进行调整。通过对视差图像数据SG中的视差进行调整，间接地对三维数据DG的缩放尺度进行调整。
第2调整部104以使后述的基准缩放尺度与基于视差图像数据SG求取的三维数据DG的缩放尺度之差变小的方式，改变对立体拍摄装置300所规定的外部参数的横摆角α。基准缩放尺度是指，以使基于视差图像数据SG求取的三维数据DG与实际的现状地形一致的方式，在调整从拍摄装置30到测量点P的缩放尺度(距离或缩放尺度)时使用的作为基准的缩放尺度。第2调整部104确定基准缩放尺度与三维数据DG的缩放尺度之差变成最小或阈值以下的正确横摆角αr。
在本实施方式中，存储部109存储基准横摆角α0。基准横摆角α0是在出厂时的外部校正处理中调整了视差图像数据的横摆角α。第2调整部104在包含基准横摆角α0的规定范围内改变第2拍摄装置30L的横摆角α，并对基准缩放尺度与三维数据DG的缩放尺度之差的最小值进行计算。
第2调整部104将存储在存储部109中的横摆角α(基准横摆角α0)改变为正确横摆角αr。也就是说，式(3)的旋转矩阵的横摆角α从基准横摆角α0被改变为正确横摆角αr。立体测量部102基于第1图像数据MR、第2图像数据ML、包含正确横摆角αr的外部参数，实施立体测量，并生成视差图像数据SG。由于横摆角α从基准横摆角α0被改变为正确横摆角αr，在第1拍摄装置30R与第2拍摄装置30L的相对位置物理性地变动之后，使存储在存储部109中的外部参数被优化为最适合于相对位置物理性地变动之后的第1拍摄装置30R及第2拍摄装置30L。因此，在立体拍摄装置300的第1拍摄装置30R与第2拍摄装置30L的相对位置物理性地变动之后，三维数据DG的缩放尺度变成与实际的施工现场相同的缩放尺度。也就是说，三维数据DG的形状变成与实际的施工现场的形状相同的形状。
形状测量方法
接着，对本实施方式涉及的位置测量方法进行说明。图15是表示本实施方式涉及的位置测量方法的一个示例的流程图。
设置在液压挖掘机1的第1立体拍摄装置301对作为拍摄对象SB的第1区域的远景区域进行拍摄。设置在液压挖掘机1的第2立体拍摄装置302对作为拍摄对象SB的第2区域的近景区域进行拍摄。
图像数据获取部101获取由第1立体拍摄装置301的第1拍摄装置30A及第2拍摄装置30B拍摄的第1图像数据MR1及第2图像数据ML1、以及由第2立体拍摄装置302的第3拍摄装置30C及第4拍摄装置30D拍摄的第3图像数据MR2及第4图像数据ML2(步骤SP10)。
由第1立体拍摄装置301拍摄的第1图像数据MR1及第2图像数据ML1包含拍摄对象SB的远景区域。由第2立体拍摄装置302拍摄的第3图像数据MR2及第4图像数据ML2包含拍摄对象SB的近景区域。
立体测量部102基于由第1立体拍摄装置301拍摄的第1图像数据MR1及第2图像数据ML1、以及存储在存储部109中的多个参数，实施立体测量。立体测量部102实施立体测量，并生成表示拍摄对象SB的远景区域的第1视差图像数据SG1。
此外，立体测量部102基于由第2立体拍摄装置302拍摄的第3图像数据MR2及第4图像数据ML2、以及存储在存储部109中的多个参数，实施立体测量。立体测量部102实施立体测量，并生成表示拍摄对象SB的近景区域的第2视差图像数据SG2(步骤SP20)。
图16是示意性地表示本实施方式涉及的通过第1拍摄装置30A对拍摄对象SB进行拍摄而得到的第1图像数据MR1的图。如图16所示，第1立体拍摄装置301对拍摄对象SB的远景区域进行拍摄。拍摄对象SB的远景区域不仅包含作为施工对象的地面，还包含例如天空或浮在天空的云那样的、相对于第1立体拍摄装置301配置在无穷远点的物体。
图17是示意性地表示基于由本实施方式涉及的第1立体拍摄装置301获取的第1图像数据MR1及第2图像数据ML1而生成的第1视差图像数据SG1的一个示例的图。另外，在图17中，在拍摄对象SB中相对于第1立体拍摄装置301位于无穷远点的物体的第1图像数据MR1与第2图像数据ML1的视差d为零。因此，在第1视差图像数据SG1中相当于天空及云的部分由黑色显示。
在本实施方式中，例如在出厂时实施第1立体拍摄装置301及第2立体拍摄装置302的外部校正处理。在以下的说明中，对于第2立体拍摄装置302，与由第2立体拍摄装置302获取的第3图像数据MR2及第4图像数据ML2相关的立体对应点查找成功，且第2视差图像数据SG2的立体率为立体阈值以上。另一方面，对于第1立体拍摄装置301，在外部校正处理之后第1拍摄装置30A及第2拍摄装置30B中的至少一方发生偏移，与由第1立体拍摄装置301获取的第1图像数据MR1及第2图像数据ML1相关的立体对应点查找失败，第1视差图像数据SG1的立体率小于立体阈值。在第1视差图像数据SG1的像素的大部分中立体对应点查找失败时，例如，如图10所示，视差图像的大部分变成黑色的区域。
第1调整部103改变对第1立体拍摄装置301所规定的多个参数中至少一部分的参数，来调整第1视差图像数据SG1的立体率，从而提高立体率(步骤SP30)。
在本实施方式中，立体率的调整包括俯仰角β的变更。第1调整部103为了提高大部分查找失败的第1视差图像数据SG1的立体率，通过上述方法，改变对第1立体拍摄装置301所规定的外部参数的俯仰角β。第1调整部103确定立体率变成最大或立体阈值以上的正确俯仰角βr。
立体测量部102使用正确俯仰角βr，对第1图像数据MR1及第2图像数据ML1实施立体测量。由此，例如，如图13所示的视差图像那样，能够生成立体率提高了的第1视差图像数据SG1。
接着，第2调整部104对根据对于第1立体拍摄装置301使用正确俯仰角βr而使立体率变成最大或立体阈值以上的第1视差图像数据SG1求出的第1三维数据DG1的缩放尺度进行调整(步骤SP40)。
在本实施方式中，缩放尺度的调整包括横摆角α的调整。第2调整部104以使基准缩放尺度与第1三维数据DG1的缩放尺度之差变小的方式，改变对第1立体拍摄装置301所规定的外部参数的横摆角α。第2调整部104确定基准缩放尺度与第1三维数据DG1的缩放尺度之差变成最小或阈值以下的正确横摆角αr。
在本实施方式中，基准缩放尺度包含由基于从第2立体拍摄装置302获取的第3图像数据MR2及第4图像数据ML2而生成的第2视差图像数据SG2求出的第2三维数据DG2的缩放尺度。第2调整部104以使基于由第2立体拍摄装置302拍摄的第3图像数据MR2及第4图像数据ML2而生成的第2三维数据DG2的缩放尺度、与基于由第1立体拍摄装置301拍摄的第1图像数据MR1及第2图像数据ML1而生成的第1三维数据DG1的缩放尺度之差变小的方式，改变存储在存储部109中的外部参数的横摆角α(基准横摆角α0)。
如上所述，在本实施方式中，第2视差图像数据SG2的立体率为立体阈值以上。因此，可以视为从出厂时起，第2立体拍摄装置302的第3拍摄装置30C与第4拍摄装置30D的相对位置没有变动。在出厂时的外部校正处理中，不仅进行立体率的调整，还进行缩放尺度的调整。也就是说，在外部校正处理中，以使立体率为立体阈值以上、且三维数据DG的缩放尺度为正确值的方式，对立体拍摄装置300的一对拍摄装置30的相对位置进行调整。因此，在第2视差图像数据SG2的立体率为立体阈值以上时，可以视为第2立体拍摄装置302的第3拍摄装置30C与第4拍摄装置30D的相对位置没有变动。也就是说，能够推定第2三维数据DG2的缩放尺度为正确值。因此，在本实施方式中，第2调整部104使用第2三维数据DG2的缩放尺度作为基准缩放尺度。
如上所述，第1立体拍摄装置301对拍摄对象SB的远景区域进行拍摄。第2立体拍摄装置302对拍摄对象SB的近景区域进行拍摄。在本实施方式中，第1立体拍摄装置301和第2立体拍摄装置302以使远景区域与近景区域的一部分重叠的方式，对拍摄对象SB进行拍摄。
第2调整部104以在拍摄对象SB的远景区域与近景区域的重叠区域内，使第1三维数据DG1的缩放尺度与第2三维数据DG2的缩放尺度之差变小的方式，改变外部参数的横摆角α。
图18是表示本实施方式涉及的第1三维数据DG1及第2三维数据DG2的一个示例的图。如图18所示，显示控制部108对由立体测量部102生成的第1三维数据DG1及第2三维数据DG2进行显示。
第1三维数据DG1是分别表示从第1立体拍摄装置301至拍摄对象SB的多个部位的距离ZP的数据。距离ZP是基于式(1)按照第1视差图像数据SG1的多个像素PXs而计算出的。地图数据生成部107基于按照多个像素PXs计算出的距离ZP，生成拍摄装置坐标系中的三维地图数据。通过对拍摄装置坐标系中的三维数据DG进行坐标变换，来生成车身坐标系中的三维数据DG、以及全局坐标系中的三维数据DG。此外，通过使用全局坐标系中的三维数据DG，计算出按照以规定间隔(x，y)设定的网格的高度，来生成第1三维地图数据(海拔地图数据)DG1。全局坐标系中的三维数据DG按照像素的数量有三维数据，三维地图数据仅按照预先规定的网格有三维数据。
此外，地图数据生成部107通过与第1视差图像数据SG1的三维地图数据的生成方法相同的生成方法，基于第2视差图像数据SG2，生成第2三维地图数据DG2。三维数据DG包含视差图像数据SG、车身坐标系等三维数据以及三维地图数据(海拔地图数据)。
如图18所示，地图数据生成部107生成拍摄对象SB的远景区域与近景区域的重叠区域、即作为第1三维地图数据DG1与第2三维地图数据DG2的重叠区域内的数据的重叠区域数据DA。
重叠区域数据DA包含在第1三维地图数据DG1和第2三维地图数据DG2中的、全局坐标系中的XY平面内的各同一位置(网格)或各对应的位置处的、在Z轴方向上的差分数据。在本实施方式中，地图数据生成部107对重叠区域内的各位置处的第1三维地图数据DG1的高度数据(z)与第2三维地图数据DG2的高度数据(z)的差分进行计算，并以使各差分的重叠区域全体的总和变成最小或阈值以下的方式，调整缩放尺度。
在第1三维数据DG1的缩放尺度与第2三维数据DG2的缩放尺度之差较大的情况下，重叠区域内的各位置处的第1三维地图数据DG1的高度数据与第2三维地图数据DG2的高度数据的差分变大、即各差分的整个重叠区域的总和也变大。
在本实施方式中，如上所述，由于第2三维数据DG2的缩放尺度为正确值(基准缩放尺度)，所以第2调整部104以使第1三维数据DG1的缩放尺度与第2三维数据DG2的缩放尺度一致的方式，调整外部参数的横摆角α。具体而言，第2调整部104以使对拍摄对象SB的远景区域进行拍摄而得到的第1三维数据DG1与对拍摄对象SB的近景区域进行拍摄而得到的第2三维数据DG2的整个重叠区域中的、第1三维数据DG1的高度数据与第2三维数据DG2的高度数据的差分的总和变小的方式，改变外部参数的横摆角α。
图19是用于说明本实施方式涉及的通过第2调整部104进行的缩放尺度的调整方法的一个示例的示意图。在图19所示的图表中，横轴表示外部参数的横摆角α，纵轴表示与第1三维数据DG1的高度数据和第2三维数据DG2的高度数据的差分的总和的差分。
第2调整部104将基准横摆角α0作为基准，在正方向及负反向上的规定范围内，按照规定角度改变横摆角α。立体测量部102在每次改变横摆角α时，对与第1三维数据DG1的高度数据和第2三维数据DG2的高度数据的差分的总和的差分进行计算。如图19所示，与第1三维数据DG1的高度数据和第2三维数据DG2的高度数据的差分的总和的差分根据横摆角α的变更而发生变化。第2调整部104将在规定范围内得到的与第1三维数据DG1的高度数据和第2三维数据DG2的高度数据的差分的总和的差分为最小值时的横摆角α确定为正确横摆角αr。
另外，确定正确横摆角αr的方法也可以不是上述方法。只要是与第1三维数据DG1的高度数据和第2三维数据DG2的高度数据的差分的总和的差分为阈值以下的横摆角α，就可以将任意的横摆角α作为正确横摆角αr。
在步骤SP30中确定正确俯仰角βr，在步骤SP40中确定正确横摆角αr之后，立体测量部102使用包含正确俯仰角βr及正确横摆角αr的外部参数，对由第1立体拍摄装置301拍摄的第1图像数据MR1及第2图像数据ML1实施立体测量。由此，生成出立体率为立体阈值以上、且缩放尺度为正确值的第1视差图像数据SG1及第1三维数据DG1(步骤SP50)。
在本实施方式中，以规定的取样周期实施上述的步骤SP10至步骤SP50的处理。在因为某种外部原因而拍摄装置30物理性地移动了的情况下，以使立体率提高且使缩放尺度变成正确值的方式，实施立体拍摄装置300的自动校正处理。
作用及效果
如上所述，根据本实施方式，控制装置100能够改变对第1拍摄装置30R及第2拍摄装置30L所规定的参数，并基于改变后的参数实施运算处理，来调整立体率及缩放尺度。通过提高立体率，能够利用立体拍摄装置300广泛地测量现状地形。此外，通过调整缩放尺度，由立体拍摄装置300测量出的三维数据DG变成与实际的现状地形的差分或误差少的高精度的数据。由此，即使在外部校正处理之后，第1拍摄装置30R与第2拍摄装置30L的相对位置发生了变动，控制装置100仅通过改变存储在存储部109中的参数，就不需要实施繁杂的再校正处理而能够对调整了立体率及缩放尺度的三维数据DG及视差图像数据SG进行测量。即使第1拍摄装置30R与第2拍摄装置30L的相对位置发生了变动，也通过实施自动校正处理，就能够抑制液压挖掘机1的作业效率的降低。
此外，在本实施方式中，第2调整部104利用第2三维数据DG2作为基准缩放尺度，以在远景区域与近景区域的重叠区域内使第1三维数据DG1的缩放尺度与第2三维数据DG2的缩放尺度之差变小的方式，改变参数。由此，能够高效地调整第1三维数据DG1的缩放尺度。
另外，在本实施方式中，通过改变外部参数的俯仰角β来提高立体率，不过可以改变式(3)中的横摆角α或侧倾角γ、位移量Tx、位移量Ty、位移量Tz来提高立体率，也可以同时改变这些多个外部参数。
另外，在本实施方式中，通过改变外部参数的横摆角α来调整缩放尺度，不过可以改变式(3)中的俯仰角β或侧倾角γ、位移量Tx、位移量Ty、位移量Tz来调整缩放尺度，也可以同时改变这些多个外部参数。
实施方式2
对实施方式2进行说明。在以下的说明中，对与上述的实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。
在上述的实施方式中，将基于第2立体拍摄装置302而生成的第2三维数据DG2作为基准缩放尺度，调整了基于第1立体拍摄装置301而生成的第1三维数据DG1的缩放尺度。在本实施方式中，对使用基准物体作为基准缩放尺度，来调整三维数据DG的缩放尺度的示例进行说明。另外，在本实施方式中，也可以按照上述的实施方式，事先进行提高立体率的处理。
图20是用于说明本实施方式涉及的位置测量方法的一个示例的示意图。在本实施方式中，作为基准物体的目标TG被配置在立体拍摄装置300的拍摄区域。目标TG例如包含具有白色表面的板部件、以及在板部件的白色表面上由黑色描述的基准标志。基准标志可以是一个，也可以是多个。在本实施方式中，基准标志是圆形标志。另外，目标TG也可以不具有基准标志。
目标TG被配置在全局坐标系中的位置是已知的规定位置。也就是说，在本实施方式中，表示全局坐标系中的目标TG的位置的位置数据是已知数据。目标TG的位置数据被输入到位置数据计算部105。
如上所述，位置数据计算部105能够对全局坐标系中的拍摄装置30的位置数据进行计算。
位置数据计算部105对全局坐标系中的立体拍摄装置300与目标TG的相对位置数据进行计算。位置数据计算部105基于全局坐标系中的立体拍摄装置300与目标TG的相对位置数据，对基准距离ZF进行运算。
第2调整部104以使基准缩放尺度与三维数据DG的缩放尺度之差变小的方式，改变外部参数的横摆角α。在本实施方式中，基准缩放尺度包含作为立体拍摄装置300与目标TG的距离的基准距离ZF。
立体拍摄装置300对包含目标TG的拍摄对象SB进行拍摄。立体测量部102按照上述的实施方式，生成视差图像数据SG。在视差图像数据SG的生成中，在立体率小于立体阈值时，按照上述的实施方式，由第1调整部103实施立体率的调整。立体测量部102基于视差图像数据SG，求取三维数据DG。
在本实施方式中，视差图像数据SG或三维数据DG包含目标TG。立体测量部102基于视差图像数据SG或三维数据DG，对从立体拍摄装置300至目标TG的距离ZP进行计算。
对视差图像数据SG或三维数据DG中哪个像素是否相当于目标TG的识别，是例如通过进行图像处理而对基准标志的中心进行识别来实施的。另外，只要能够识别出相当于目标TG的像素，可以使用任意的方法。例如，可以不使用基准标志，而基于目标TG的形状进行识别，也可以使用规定的输入装置，来指定相当于目标TG的像素等数据。
第2调整部104以使由位置数据计算部105计算出的基准距离ZF与视差图像数据SG或三维数据DG中的立体拍摄装置300和目标TG的距离ZP之差变小的方式，改变外部参数的横摆角α。
如上所述，在本实施方式中，使用绝对位置是已知的目标TG，能够调整三维数据DG的缩放尺度。根据本实施方式，在第1立体拍摄装置301的第1拍摄装置30A与第2拍摄装置30B的相对位置、以及第2立体拍摄装置302的第3拍摄装置30C与第4拍摄装置30D的相对位置都发生变动的情况下，能够独立实施第1立体拍摄装置301的自动校正处理、以及第2立体拍摄装置302的自动校正处理。
例如，在第1立体拍摄装置301的第1拍摄装置30A与第2拍摄装置30B的相对位置发生变动，并第1视差图像数据SG1的立体率降低的情况下，第1调整部103能够按照上述的实施方式，实施提高立体率的调整处理。在提高立体率之后，通过利用提高了立体率的该第1立体拍摄装置301对目标TG进行拍摄，第2调整部104能够按照本实施方式涉及的缩放尺度的调整方法，调整第1三维数据DG1的缩放尺度。对第2立体拍摄装置302也是同样的。
另外，本实施方式涉及的位置测量方法也可以应用于液压挖掘机1仅具有第1立体拍摄装置301的情况。
另外，在本实施方式中，也可以不实施使用第1调整部103提高立体率的处理，而是使用本实施方式涉及的位置测量方法，实施使第2调整部104调整缩放尺度的处理。
另外，在本实施方式中，在使用激光扫描仪来代替立体拍摄装置300时，即使在缩放尺度变得不正确的情况下，也能够调整缩放尺度。
实施方式3
说明实施方式3。在以下的说明中，对与上述的实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。
在本实施方式中，对使用立体拍摄装置300的无穷远点处所配置的基准物体作为基准缩放尺度，调整三维数据DG的缩放尺度的示例进行说明。另外，在本实施方式中，也按照上述的实施方式，实施提高立体率的处理。
立体拍摄装置300对如图17所示的浮在天空的云那样的、立体拍摄装置300的无穷远点处所配置的基准物体进行拍摄。由第1拍摄装置30R拍摄的第1图像数据MR及由第2拍摄装置30L拍摄的第2图像数据ML分别包含立体拍摄装置300的无穷远点处所配置的基准物体的图像数据。
在利用由外部校正处理将缩放尺度调整为正确值的立体拍摄装置300对无穷远点的基准物体的测量点P进行拍摄的情况下，视差d为零。另一方面，在利用缩放尺度不是正确值的立体拍摄装置300对无穷远点的基准物体的测量点P进行拍摄的情况下，视差d不为零。
在本实施方式中，基准缩放尺度是指，到由缩放尺度调整为正确值的立体拍摄装置300进行了立体测量的无穷远点的基准物体为止的距离，即包含无穷远。
图21是用于说明本实施方式涉及的位置测量方法的一个示例的示意图。图21是表示，例如通过立体拍摄装置300对如图17所示那样的位于无穷远点的物体所占的比率较大的拍摄对象SB进行拍摄时的、在投影了拍摄对象SB的各测量点P的像素上产生的视差d、与在整个视差图像数据SG的各像素上产生的视差d相累积后的结果即频次之间的关系的直方图。在图21所示的图表中，横轴表示视差d，纵轴表示视差d的频次。
在拍摄对象SB中，在如云那样的位于无穷远点的物体的比率较大的情况下，如图21所示，在与无穷远点对应的视差d中，产生其频次的峰值Δd。在利用由外部校正处理将缩放尺度调整为正确值的立体拍摄装置300对无穷远点的物体进行拍摄的情况下，视差d的频次在视差d为零处表示有峰值Δd。另一方面，在利用缩放尺度不是正确值的立体拍摄装置300对无穷远点的物体进行拍摄的情况下，视差d的频次在视差d不为零处表示有峰值Δd。
第2调整部104以使第1图像数据MR中的基准物体(本实施方式中为无穷远点)的图像数据和第2图像数据ML中的基准物体的图像数据的视差d与基准视差d0(本实施方式中为零)一致的方式，改变外部参数的横摆角α。也就是说，第2调整部104在对无穷远点的基准物体进行拍摄时的视差d的峰不在零处的情况下，以使该视差d的峰变到零处的方式，改变外部参数的横摆角α。
图22是用于说明本实施方式涉及的通过第2调整部104进行的缩放尺度的调整方法的一个示例的示意图。在图22所示的图表中，横轴表示外部参数的横摆角α，纵轴表示在对位于无穷远点的物体的测量点P进行拍摄时的视差d的峰值Δd、即在对如图17所示那样的位于无穷远点的物体所占的比率较大的拍摄对象SB进行拍摄时的视差d的频次表示为峰的视差d的峰值Δd。
第2调整部104将基准横摆角α0作为基准，在规定范围内按照规定角度改变横摆角α。立体测量部102对改变后的各个横摆角α，计算视差d的频次的峰值。如图22所示，视差图像数据SG的各像素中的视差d，基于横摆角α的变更而发生变化。第2调整部104将在规定范围内得到基准视差d0与视差d之差的最小值时的横摆角α确定为正确横摆角αr。也就是说，第2调整部104将改变后的横摆角α中的视差d的频次的峰值最接近零处的横摆角α确定为正确横摆角αr。另外，第2调整部104也可以将在规定范围内基准视差d0与视差d之差变成视差阈值以下时的横摆角α确定为正确横摆角αr。视差阈值是对基准视差d0与视差d之差所规定的阈值。
如上所述，在本实施方式中，能够使用位于无穷远点的物体，调整三维数据DG的缩放尺度。在本实施方式中，即使在第1立体拍摄装置301的第1拍摄装置30A与第2拍摄装置30B的相对位置、以及第2立体拍摄装置302的第3拍摄装置30C与第4拍摄装置30D的相对位置的双方都变动的情况下，也能够独立实施第1立体拍摄装置301的自动校正处理及第2立体拍摄装置302的自动校正处理。
另外，本实施方式涉及的位置测量方法也可以应用于液压挖掘机1仅具有第1立体拍摄装置301的情况。
另外，在本实施方式中，也可以不实施使用第1调整部103提高立体率的处理，而是使用本实施方式涉及的位置测量方法，使第2调整部104实施调整缩放尺度的处理。
另外，在本实施方式中，在使用激光扫描仪来代替立体拍摄装置300时，即使在缩放尺度变得不正确的情况下，也能够调整缩放尺度。
实施方式4
对实施方式4进行说明。在以下的说明中，对与上述的实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。
在上述的实施方式中，由第1调整部103及第2调整部104改变的参数是规定第1拍摄装置MR与第2拍摄装置ML的相对位置的外部参数。
在本实施方式中，对由第1调整部103及第2调整部104改变的参数是第1拍摄装置30R及第2拍摄装置30L各自的内部参数的示例进行说明。
内部参数规定第1拍摄装置30R及第2拍摄装置30L各自的固有数据。内部参数例如包含：拍摄装置30的光学系统的焦点距离、以及拍摄装置30的光学系统的光学中心和图像传感器的摄像面的交点与图像传感器中的图像中心的位置偏移量。
在本实施方式中，内部参数包含第2拍摄装置30L的图像传感器31L相对于在与Xs轴及Ys轴平行的方向上的第2拍摄装置30L的光学系统的光轴的位置。也就是说，在本实施方式中，内部参数包含在Xs轴方向及Ys轴方向上的图像中心的位置。
例如，由于外部原因，在拍摄装置30的内部图像传感器有可能会发生移动。例如，由于热的影响，图像传感器的位置有可能会变动。若图像传感器的位置变动，则表示拍摄装置30的光学系统的光轴与图像传感器的摄像面的交点的图像中心的位置会变动。若图像中心的位置变动，则有可能视差图像数据SG的立体率降低，或者三维数据DG的缩放尺度与缩放尺度的正确值之差变大。
在本实施方式中，第1调整部103为了调整立体率，作为内部参数，改变图像传感器31L在Xs轴方向上的位置，并调整图像中心在Xs轴方向上的位置。
在本实施方式中，第2调整部104为了调整缩放尺度，作为内部参数，改变图像传感器31L在Ys轴方向上的位置，并调整图像中心在Ys轴方向上的位置。
拍摄装置30的固有数据由包含上述的多个内部参数的下述的式(4)规定。
Figure BDA0001720460040000401
在式(4)中，(X，Y，Z)表示全局坐标系中的第2拍摄装置30L的图像中心的位置。s表示拍摄装置坐标系中在Zs轴方向上的距离或缩放尺度。u表示拍摄装置坐标系中在Xs轴方向上的位置。f表示焦点距离。su表示在Xs轴方向上的像素比率(相对于Ys轴方向的比率)。sv表示拍摄装置坐标系中在Ys轴方向上的像素比率(相对于Xs轴方向的比率)。u0表示第2拍摄装置30L在拍摄装置坐标系的Xs轴方向上的图像中心的位置。v0表示第2拍摄装置30L在拍摄装置坐标系的Ys轴方向上的图像中心的位置。
式(4)包含：由与第2拍摄装置30L相关的横摆角α、俯仰角β、侧倾角γ、位置u0及位置v0规定的拍摄装置内部矩阵；由表示第2拍摄装置30L的位置及姿势的多个参数规定的拍摄装置外部矩阵；以及由在全局坐标系中的位置X、位置Y及位置Z分别规定的平移矢量。式(4)为：将第2拍摄装置30L在拍摄装置坐标系的Xs轴方向上的图像中心的位置u0及Ys轴方向上的图像中心的位置v0，转换为第1拍摄装置30R在拍摄装置坐标系的Xs轴方向上的图像中心的位置u及Ys轴方向上的图像中心的位置v的转换式。
第1调整部103以立体率变大的方式，改变位置u0。位置u0的变更近似于上述的实施方式中说明的俯仰角β的变更。
在本实施方式中，存储部109存储图像传感器31L在Xs轴方向上的基准位置。图像传感器31L在Xs轴方向上的基准位置包含第2拍摄装置30L在Xs轴方向上的图像中心的基准位置。在Xs轴方向上的基准位置是在出厂时的外部校正处理中以使立体率成为立体阈值以上的方式调整出的图像中心的位置。第1调整部103在包含Xs轴方向上的基准位置的规定范围内改变图像传感器31L的位置，来对立体率的最大值进行计算。
第2调整部104以使基准缩放尺度与三维数据DG的缩放尺度之差变小的方式，改变位置v0。位置v0的变更近似于上述的实施方式中说明的横摆角α的变更。
在本实施方式中，存储部109存储图像传感器31L在Ys轴方向上的基准位置。图像传感器31L在Ys轴方向上的基准位置包含第2拍摄装置30L在Ys轴方向上的图像中心的基准位置。在Ys轴方向上的基准位置是在出厂时的外部校正处理中以使基准缩放尺度与三维数据DG的缩放尺度之差成为缩放尺度阈值以下的方式调整出的图像中心的位置。第2调整部104在包含Ys轴方向上的基准位置的规定范围内改变图像传感器31L的位置，来对基准缩放尺度与三维数据DG的缩放尺度之差的最小值进行计算。
如上所述，第1调整部103及第2调整部104通过调整拍摄装置30的内部参数，能够提高视差图像数据SG的立体率，使三维数据DG的缩放尺度接近于正确值。
实施方式5
对实施方式5进行说明。在以下的说明中，对与上述的实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。
图23是示意性地表示本实施方式涉及的位置测量系统500的一个示例的图。在本实施方式中，液压挖掘机1的控制装置100通过通信线路502，能够与设置在液压挖掘机1的远离位置的服务器501及终端装置503进行数据通信。服务器501包括计算机系统。终端装置503包括个人计算机或移动终端。通信线路502包括互联网(internet)、局域网(LAN：LocalArea Network)、移动电话通信网和卫星通信网中的至少一个。
在本实施方式中，服务器501具有控制装置100的一部分或全部的功能。也就是说，服务器501具有图像数据获取部101、立体测量部102、第1调整部103、第2调整部104、位置数据计算部105、作业机位置数据计算部106、地图数据生成部107、显示控制部108、存储部109和输入输出部110中的至少一个。
由液压挖掘机1的拍摄装置30拍摄的图像数据、由位置检测器23检测出的回转体3的位置数据、由姿势检测器24检测出的回转体3的姿势数据、以及由方位检测器25检测出的回转体3的方位数据，通过通信线路502，被提供给服务器501。
例如，在服务器501具有立体测量部102、第1调整部103、第2调整部104和存储部109的情况下，服务器501基于由拍摄装置30拍摄并通过通信线路502被提供的图像数据，能够实施立体测量、以使立体率增大的方式改变参数、或者以使缩放尺度成为正确值的方式改变参数。
另外，在本实施方式中，终端装置503可以具有控制装置100的一部分或全部的功能。也就是说，终端装置503可以具有图像数据获取部101、立体测量部102、第1调整部103、第2调整部104、位置数据计算部105、作业机位置数据计算部106、地图数据生成部107、显示控制部108、存储部109和输入输出部110中的至少一个。
另外，在本实施方式中，由显示控制部108控制的显示装置26可以设置在液压挖掘机1，也可以与服务器501连接，还可以与终端装置503连接。
实施方式6
对实施方式6进行说明。在以下的说明中，对与上述的实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。
在上述的实施方式2中，使用目标TG来调整三维数据DG的缩放尺度。在本实施方式中，对使用作业机2，来调整三维数据DG的缩放尺度作为基准缩放尺度的示例进行说明。另外，在本实施方式中，也按照上述的实施方式，进行提高立体率的处理。
图24是用于说明本实施方式涉及的位置测量方法的一个示例的示意图。在本实施方式中，作为基准物体的铲斗8的齿尖8BT被配置在立体拍摄装置300的拍摄区域。例如，在以使在Xm轴方向上的立体拍摄装置300与齿尖8BT的距离最长的方式调整了作业机2的姿势的状态下，齿尖8BT被配置在立体拍摄装置300的拍摄区域。
作业机位置数据计算部106能够对铲斗8的齿尖8BT在全局坐标系中的位置进行计算。此外，位置数据计算部105能够对拍摄装置30在全局坐标系中的位置数据进行计算。
位置数据计算部105对立体拍摄装置300与齿尖8BT在全局坐标系中的相对位置数据进行计算。
第2调整部104以使基准缩放尺度与三维数据DG的缩放尺度之差变小的方式，改变外部参数的横摆角α。在本实施方式中，基准缩放尺度包含作为立体拍摄装置300与齿尖8BT的距离的基准距离ZF。
如上所述，在本实施方式中，能够使用作业机2来调整三维数据DG的缩放尺度。
另外，在本实施方式中，可以利用除了液压挖掘机1以外的其他的液压挖掘机的作业机作为基准缩放尺度。其他的液压挖掘机只要与本实施方式涉及的液压挖掘机1相同地，具有作业机角度检测器22、位置检测器23、姿势检测器24、方位检测器25及控制装置100，其他的液压挖掘机则能够获取其他的液压挖掘机的作业机的铲斗齿尖的绝对位置。表示该其他的液压挖掘机的齿尖的绝对位置的绝对位置数据，通过通信装置被发送给本实施方式涉及的液压挖掘机1，从而液压挖掘机1能够获取立体拍摄装置300与其他的液压挖掘机的齿尖的相对位置数据。
另外，在上述的各实施方式中，对在液压挖掘机1设置四个拍摄装置30、以及两个立体拍摄装置300的示例进行了说明。在液压挖掘机1至少设置两个拍摄装置30即可。此外，在上述的实施方式2及实施方式3中，至少设置一个立体拍摄装置300即可。
另外，在上述的各实施方式中，立体率表示进行了立体测量的视差图像数据SG的多个像素中立体测量成功的像素的比率。立体率可以是其他的定义。例如，立体率可以表示进行了立体测量的视差图像数据的多个像素中立体测量成功的像素的总数。
另外，在上述的各实施方式中，作为三维数据的缩放尺度调整，通过调整横摆角等、即调整视差d来改变缩放尺度，但并不限于该实施方式，也可以通过其他的调整、例如调整式(1)中的b(拍摄装置间距离)或f(焦点距离)来改变缩放尺度。
另外，在上述的各实施方式中，作业机械1是液压挖掘机。作业机械1只要是能够对施工对象进行施工的作业机械即可，可以是能够对施工对象进行挖掘的挖掘机械及能够运载砂土的运载机械。作业机械1例如可以是轮式装载机、推土机或自卸车。
符号说明
1液压挖掘机(作业机械)；1B车身；2作业机；3回转体；4驾驶室；4S驾驶席；5行走体；5A履带；5B履带；6动臂；7斗杆；8铲斗；8BT齿尖；10动臂缸；11斗杆缸；12铲斗缸；13动臂销；14斗杆销；15铲斗销；16动臂行程传感器；17斗杆行程传感器；18铲斗行程传感器；20检测系统；21GPS天线；22作业机角度检测器；23位置检测器；24姿势检测器；25方位检测器；26显示装置；30拍摄装置；30A第1拍摄装置；30B第2拍摄装置；30C第3拍摄装置；30D第4拍摄装置；30L第2拍摄装置；30R第1拍摄装置；31L图像传感器；31R图像传感器；35操作装置；35L左操作杆；35R右操作杆；50位置测量系统；100控制装置；101图像数据获取部；102立体测量部；103第1调整部；104第2调整部；105位置数据计算部；106作业机位置数据计算部；107地图数据生成部；108显示控制部；109存储部；110输入输出部；300立体拍摄装置；301第1立体拍摄装置；302第2立体拍摄装置；500位置测量系统；501服务器；502通信线路；AX1旋转轴；AX2旋转轴；AX3旋转轴；DG三维数据；ER点；EL点；BL基线；MR第1图像数据；ML第2图像数据；OR光学中心；OL光学中心；P测量点；SB拍摄对象；SG视差图像数据；Zr回转轴。

Claims (10)

1.一种位置测量系统，其特征在于，包括：
图像数据获取部，其获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由所述第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；
存储部，其存储与所述第1拍摄装置以及与所述第2拍摄装置相关的参数；
立体测量部，其基于所述第1图像数据、所述第2图像数据、所述参数，实施立体测量；
第1调整部，其改变所述参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及
第2调整部，其以从所述第1视差图像数据求出的第1三维数据的缩放尺度与作为基准的第2三维数据之差变小的方式，改变存储的所述参数中的至少一部分，
所述第2三维数据是由第2立体拍摄装置拍摄的第3图像数据及第4图像数据而生成的第2三维数据。
2.根据权利要求1所述的位置测量系统，其特征在于：
所述第2调整部调整所述第1视差图像数据的视差，并改变所述第1三维数据的缩放尺度。
3.根据权利要求1所述的位置测量系统，其特征在于：
所述参数包含对所述第1拍摄装置和所述第2拍摄装置的相对位置进行规定的外部参数，
所述外部参数包含所述第2拍摄装置的俯仰角，
所述第1调整部改变所述俯仰角。
4.根据权利要求1至3中任一项所述的位置测量系统，其特征在于：
所述参数包含对所述第1拍摄装置和所述第2拍摄装置的相对位置进行规定的外部参数，
所述外部参数包含所述第2拍摄装置的横摆角，
所述第2调整部改变所述横摆角。
5.一种位置测量系统，其特征在于，包括：
图像数据获取部，其获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由所述第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；
存储部，其存储与所述第1拍摄装置以及与所述第2拍摄装置相关的参数；
立体测量部，其基于所述第1图像数据、所述第2图像数据、所述参数，实施立体测量；
第1调整部，其改变所述参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及
第2调整部，其以使基于所述第1立体拍摄装置的位置数据和基准物体的位置数据而计算出的所述第1立体拍摄装置和基准物体的基准距离、与从所述第1视差图像数据求出的第1三维数据中的所述第1立体拍摄装置和所述基准物体的距离之差变小的方式，改变所述参数。
6.一种位置测量系统，其特征在于，包括：
图像数据获取部，其获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由所述第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；
存储部，其存储与所述第1拍摄装置以及与所述第2拍摄装置相关的参数；
立体测量部，其基于所述第1图像数据、所述第2图像数据、所述参数，实施立体测量；
第1调整部，其改变所述参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及
第2调整部，其以使基于所述第1图像数据及所述第2图像数据而测量出的第1视差图像数据中的视差的峰变到零处的方式，改变所述参数，
所述第1图像数据及所述第2图像数据分别包含所述第1立体拍摄装置的无穷远点处所配置的基准物体的图像数据。
7.一种位置测量系统，其特征在于，包括：
图像数据获取部，其获取由设置于作业机械的立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由所述立体拍摄装置的第2拍摄装置拍摄的第2图像数据；
立体测量部，其基于所述第1图像数据、所述第2图像数据、与所述第1拍摄装置及所述第2拍摄装置相关的参数，实施立体测量；以及
第2调整部，其以使基于所述立体拍摄装置的绝对位置数据和基准物体的绝对位置数据而计算出的所述立体拍摄装置和所述基准物体的基准距离、与由所述立体测量部生成的视差图像数据中的所述立体拍摄装置和所述基准物体的距离之差变小的方式，改变所述参数的至少一部分。
8.一种位置测量系统，其特征在于，包括：
图像数据获取部，其获取由设置于作业机械的立体拍摄装置的第1拍摄装置拍摄的、包含所述立体拍摄装置的无穷远点处所配置的基准物体的第1图像数据、以及由所述立体拍摄装置的第2拍摄装置拍摄的包含所述基准物体的第2图像数据；
立体测量部，其基于所述第1图像数据、所述第2图像数据、与所述第1拍摄装置及所述第2拍摄装置相关的参数，实施立体测量；以及
第2调整部，其以使基于所述第1图像数据及所述第2图像数据而测量出的第1视差图像数据中的视差的峰变到零处的方式，改变所述参数的至少一部分。
9.一种作业机械，其特征在于，包括：
权利要求1至8中任一项所述的位置测量系统。
10.一种位置测量方法，其特征在于，包括：
获取由设置于作业机械的第1立体拍摄装置的第1拍摄装置拍摄的第1图像数据及由所述第1立体拍摄装置的第2拍摄装置拍摄的第2图像数据；
存储与所述第1拍摄装置以及与所述第2拍摄装置相关的参数；
基于所述第1图像数据、所述第2图像数据、所述参数，实施立体测量；
改变所述参数的至少一部分，对立体测量出的第1视差图像数据的立体率进行调整；以及
以从所述第1视差图像数据求出的第1三维数据的缩放尺度与作为基准的第2三维数据之差变小的方式，改变存储的所述参数中的至少一部分，
所述第2三维数据是由第2立体拍摄装置拍摄的第3图像数据及第4图像数据而生成的第2三维数据。
CN201880000776.XA 2017-02-09 2018-02-07 位置测量系统、作业机械及位置测量方法 Active CN108700402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017022570A JP6925816B2 (ja) 2017-02-09 2017-02-09 位置計測システム、作業機械、及び位置計測方法
JP2017-022570 2017-02-09
PCT/JP2018/004257 WO2018147340A1 (ja) 2017-02-09 2018-02-07 位置計測システム、作業機械、及び位置計測方法

Publications (2)

Publication Number Publication Date
CN108700402A CN108700402A (zh) 2018-10-23
CN108700402B true CN108700402B (zh) 2021-10-15

Family

ID=63107538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880000776.XA Active CN108700402B (zh) 2017-02-09 2018-02-07 位置测量系统、作业机械及位置测量方法

Country Status (6)

Country Link
US (1) US11120577B2 (zh)
JP (1) JP6925816B2 (zh)
KR (1) KR102076631B1 (zh)
CN (1) CN108700402B (zh)
DE (1) DE112018000007T5 (zh)
WO (1) WO2018147340A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
JP7301514B2 (ja) 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
JP7427370B2 (ja) 2019-05-17 2024-02-05 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP6697150B1 (ja) * 2019-10-30 2020-05-20 株式会社Ｑｏｎｃｅｐｔ 軌道算出装置、軌道算出方法、軌道算出プログラム
JP2021134482A (ja) * 2020-02-21 2021-09-13 株式会社小松製作所 作業機械及び作業機械の遠隔操作システム
US20220292801A1 (en) * 2021-03-15 2022-09-15 Plantronics, Inc. Formatting Views of Whiteboards in Conjunction with Presenters
KR20220139031A (ko) * 2021-04-07 2022-10-14 현대두산인프라코어(주) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법
US11669956B2 (en) * 2021-06-01 2023-06-06 Caterpillar Inc. Ground engaging tool wear and loss detection system and method
CN113280736B (zh) * 2021-06-10 2022-07-22 雷沃工程机械集团有限公司 一种装载机铲斗位置检测方法及设备
CN114363805B (zh) * 2021-12-29 2024-04-30 北京红山信息科技研究院有限公司 一种纠正背向点的三角定位改进方法
JP2024070512A (ja) * 2022-11-11 2024-05-23 株式会社小松製作所 作業機械の校正システム及び作業機械の校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) * 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
CN102223550A (zh) * 2010-04-14 2011-10-19 索尼公司 图像处理设备、图像处理方法和程序
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288516A (ja) 1992-04-07 1993-11-02 Honda Motor Co Ltd 非接触式位置検出装置
JP3617709B2 (ja) * 1995-11-10 2005-02-09 株式会社日本自動車部品総合研究所 距離計測装置
JP3827480B2 (ja) 1999-08-13 2006-09-27 日立建機株式会社 自動運転建設機械およびその位置計測手段の校正方法
JP2008045983A (ja) * 2006-08-15 2008-02-28 Fujifilm Corp ステレオカメラの調整装置
US7865285B2 (en) 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP6060525B2 (ja) 2012-05-31 2017-01-18 株式会社ニデック 眼底検査装置
US9142063B2 (en) * 2013-02-15 2015-09-22 Caterpillar Inc. Positioning system utilizing enhanced perception-based localization
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
DE102014208068A1 (de) * 2014-04-29 2015-10-29 Deere & Company Erntemaschine mit sensorbasierter Einstellung eines Arbeitsparameters
CN104093013B (zh) * 2014-06-25 2016-05-11 中国科学院遥感与数字地球研究所 一种立体视觉三维可视化系统中自动调节图像视差的方法
US20160137125A1 (en) * 2014-11-17 2016-05-19 Caterpillar Inc. Imaging system using virtual projection geometry
JP6552192B2 (ja) * 2014-12-18 2019-07-31 京セラ株式会社 ステレオカメラ装置、移動体、制御方法及び較正装置
JP6515650B2 (ja) 2015-04-14 2019-05-22 国立大学法人東京工業大学 校正装置、距離計測装置及び校正方法
JPWO2016047807A1 (ja) 2015-09-30 2017-04-27 株式会社小松製作所 校正システム、作業機械及び校正方法
US20170094154A1 (en) 2015-09-30 2017-03-30 Komatsu Ltd. Correction system of image pickup apparatus, work machine, and correction method of image pickup apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341458A (ja) * 1997-06-10 1998-12-22 Toyota Motor Corp 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
CN102223550A (zh) * 2010-04-14 2011-10-19 索尼公司 图像处理设备、图像处理方法和程序
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法

Also Published As

Publication number Publication date
JP6925816B2 (ja) 2021-08-25
JP2018128397A (ja) 2018-08-16
US11120577B2 (en) 2021-09-14
KR102076631B1 (ko) 2020-02-12
KR20180103868A (ko) 2018-09-19
DE112018000007T5 (de) 2018-09-27
WO2018147340A1 (ja) 2018-08-16
CN108700402A (zh) 2018-10-23
US20210209799A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN108700402B (zh) 位置测量系统、作业机械及位置测量方法
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR102089454B1 (ko) 계측 시스템, 작업 기계 및 계측 방법
CN106029994B (zh) 校正系统、作业机械和校正方法
WO2020241618A1 (ja) マップ生成システム及びマップ生成方法
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
CN110249203B (zh) 作业机械的测量系统、作业机械以及作业机械的测量方法
CN112334733B (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
CN112673284A (zh) 坐标转换系统及作业机械
CN111226009B (zh) 作业机的外形形状测定系统、作业机的外形形状显示系统、作业机的控制系统以及作业机械
CN105518221A (zh) 拍摄装置的校正系统、作业机械和拍摄装置的校正方法
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP6895350B2 (ja) 作業機械の計測システム及び作業機械
JP2022001879A (ja) 作業機械の計測システム、作業機械、及び作業機械の計測方法
JP2020197044A (ja) マップ生成システム及びマップ生成方法
WO2023282203A1 (ja) 作業機械の制御システム、作業機械、及び作業機械の制御方法
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법
JP2023010051A (ja) 作業機械の制御システム、作業機械、及び作業機械の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant