CN112334733A - 拍摄装置的校正装置、监视装置、作业机械及校正方法 - Google Patents

拍摄装置的校正装置、监视装置、作业机械及校正方法 Download PDF

Info

Publication number
CN112334733A
CN112334733A CN201880094869.3A CN201880094869A CN112334733A CN 112334733 A CN112334733 A CN 112334733A CN 201880094869 A CN201880094869 A CN 201880094869A CN 112334733 A CN112334733 A CN 112334733A
Authority
CN
China
Prior art keywords
external target
target
correction
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880094869.3A
Other languages
English (en)
Other versions
CN112334733B (zh
Inventor
厚见彰吾
菅原大树
山口博义
永户厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN112334733A publication Critical patent/CN112334733A/zh
Application granted granted Critical
Publication of CN112334733B publication Critical patent/CN112334733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

拍摄装置的校正装置具备：拍摄数据取得部，其取得由至少1个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少1个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于所述工作装置的作业范围外的已知位置；外部目标位置取得部，其取得所述已知外部目标的位置；以及校正部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置和由所述拍摄数据取得部取得的所述已知外部目标的拍摄数据，校正所述拍摄装置。

Description

拍摄装置的校正装置、监视装置、作业机械及校正方法
技术领域
本发明涉及拍摄装置的校正装置、监视装置、作业机械及校正方法。
背景技术
在专利文献1中公开了对具有工作装置和拍摄装置的作业机械中的拍摄装置进行校正的技术。具体而言，在专利文献1所记载的校正系统中，拍摄装置对设置于工作装置的目标进行拍摄，并根据图像求出拍摄装置与目标的位置关系，从而基于工作装置的姿态和根据图像所求出的位置关系，进行拍摄装置的校正。
现有技术文献
专利文献
专利文献1：国际公开第2016/148309号
发明内容
发明要解决的课题
另一方面，工作装置能够从作业机械的主体伸出的距离是有限的。也就是，根据专利文献1所记载的技术，对于工作装置的作业范围内的拍摄对象(挖掘前、挖掘中、挖掘后的施工现场等)，能够基于拍摄装置高精度地计测尺度等。作业范围是指通过工作装置的操作而使得铲斗的铲尖能够到达的范围。另一方面，根据专利文献1所记载的技术，由于在校正中无法使用比工作装置的作业范围远的点的位置信息，因此在基于拍摄装置计测比工作装置的作业范围远的区域中的拍摄对象的情况下，难以高精度地计测尺度等。因此，期望对于比工作装置的作业范围远的点，高精度地计测尺度等。
本发明的技术方案的目的在于，提供一种能够对于比工作装置的作业范围远的区域中的拍摄对象，以可以高精度地计测尺度等的方式对拍摄装置进行校正的拍摄装置的校正装置、作业机械及校正方法。
用于解决课题的方案
根据本发明的第一技术方案，拍摄装置的校正装置具备：拍摄数据取得部，其取得由至少一个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少一个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于所述工作装置的作业范围外的已知位置；外部目标位置取得部，其取得所述已知外部目标的位置；以及校正部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置和由所述拍摄数据取得部取得的所述已知外部目标的拍摄数据，校正所述拍摄装置。
发明效果
根据上述技术方案，能够对于比工作装置的作业范围远的区域中的拍摄对象，以可以高精度地进行计算的方式校正拍摄装置。
附图说明
图1是示出液压挖掘机与坐标系的关系的图。
图2是示出第一实施方式的具备构成系统的液压挖掘机的外观的立体图。
图3是示出第一实施方式的液压挖掘机的控制系统的结构的概要框图。
图4是示出工作装置的姿态的例子的图。
图5是示出第一实施方式的用于执行校正方法的工作装置目标的例子的图。
图6是示出在第一实施方式中由立体相机拍摄的工作装置目标的位置的图。
图7是示出第一实施方式的用于执行校正方法的外部目标的例子的图。
图8是示出在第一实施方式中由立体相机拍摄的外部目标的第一位置的图。
图9是示出第一实施方式中的外部目标的设置要领的图。
图10是示出在第一实施方式中由立体相机拍摄的外部目标的第二位置的图。
图11是示出第一实施方式的液压挖掘机的控制装置的结构的框图。
图12是示出第一实施方式的立体相机的校正方法的流程图。
图13是示出第二实施方式的立体相机的校正方法的流程图。
图14是示出在第三实施方式中由立体相机拍摄的外部目标的位置的图。
图15是示出第三实施方式的立体相机的校正方法的流程图。
图16是示出第四实施方式的校正系统的结构的概要图。
图17是示出第四实施方式的控制装置的结构的概要框图。
图18是示出第四实施方式的终端装置的结构的概要框图。
图19是示出第四实施方式的参数检查及校正处理的时序图。
图20是示出第四实施方式的参数检查及校正处理的时序图。
图21是示出在第四实施方式的终端装置显示的确认画面的例子的图。
图22是示出在第四实施方式的终端装置显示的选择画面的例子的图。
图23是其他实施方式的位置计测系统的结构的概要图。
具体实施方式
<坐标系>
图1是示出液压挖掘机与坐标系的关系的图。
在以下的说明中，规定三维的现场坐标系(Xg，Yg，Zg)、三维的车身坐标系(Xm，Ym，Zm)、以及三维的相机坐标系(Xc，Yc，Zc)，并基于这些坐标系说明位置关系。
现场坐标系是由以设置于施工现场的GNSS基准站C的位置为基准点而南北延伸的Xg轴、东西延伸的Yg轴、上下延伸的Zg轴构成的坐标系。作为GNSS的例子，可以举出GPS(Global Positioning System)。GNSS基准站C是在现场坐标系中的位置已知的现场基准点的一例。
车身坐标系是由以后述的液压挖掘机100的回转体120所规定的代表点O为基准而前后延伸的Xm轴、左右延伸的Ym轴、上下延伸的Zm轴构成的坐标系。以回转体120的代表点O为基准，将前方称为+Xm方向，将后方称为-Xm方向，将左方称为+Ym方向，将右方称为-Ym方向，将上方向称为+Zm方向，将下方向称为-Zm方向。
相机坐标系是以构成后述的液压挖掘机100的立体相机125的一个相机(例如第一相机1251)的位置为基准，由沿相机的上下方向延伸的Xc轴、沿相机的宽度方向延伸的Yc轴、沿相机的光轴方向延伸的Zc轴构成的坐标系。
后述的液压挖掘机100的控制装置126能够通过运算，将某个坐标系中的位置转换为其他坐标系中的位置。例如，控制装置126能够将相机坐标系中的位置转换为车身坐标系中的位置，也能够转换为其相反的坐标系。另外，控制装置126能够将现场坐标系中的位置转换为车身坐标系中的位置，也能够转换为其相反的坐标系。
<第一实施方式>
《液压挖掘机的结构》
图2是示出第一实施方式的具备校正系统的液压挖掘机的外观的立体图。
作为作业机械的液压挖掘机100具备利用液压工作的工作装置110、支承工作装置110的回转体120、以及支承回转体120的行驶体130。
《液压挖掘机的工作装置》
工作装置110具备动臂111、斗杆112、铲斗113、动臂缸114、斗杆缸115及铲斗缸116。
动臂111是支承斗杆112及铲斗113的支柱。动臂111的基端部经由动臂销P1安装于回转体120的前部。
斗杆112将动臂111与铲斗113连结。斗杆112的基端部经由斗杆销P2安装于动臂111的前端部。
铲斗113是具有用于挖掘砂土等的铲刀的容器。铲斗113的基端部经由铲斗销P3安装于斗杆112的前端部。
动臂缸114是用于使动臂111工作的液压缸。动臂缸114的基端部安装于回转体120。动臂缸114的前端部安装于动臂111。
斗杆缸115是用于驱动斗杆112的液压缸。斗杆缸115的基端部安装于动臂111。斗杆缸115的前端部安装于斗杆112。
铲斗缸116是用于驱动铲斗113的液压缸。铲斗缸116的基端部安装于斗杆112。铲斗缸116的前端部安装于铲斗113。
《液压挖掘机的车身》
在回转体120具备供操作员搭乘的驾驶室121。驾驶室121配备于回转体120的前方且工作装置110的左侧(+Ym侧)。
在驾驶室121的内部设置有用于操作工作装置110的操作装置1211。根据操作装置1211的操作量，向动臂缸114、斗杆缸115及铲斗缸116供给工作油，使得工作装置110进行驱动。
在驾驶室121的上部设置有立体相机125。立体相机125设置于驾驶室121内的前方(+Xm方向)且上方(+Zm方向)。立体相机125通过驾驶室121前面的前玻璃而对驾驶室121的前方(+Xm方向)进行拍摄。立体相机125具备至少一对相机。在第一实施方式中，由于立体相机125具备两对相机，因此立体相机125具备4个相机。具体而言，立体相机125从右侧(-Ym侧)依次具备第一相机1251、第二相机1252、第三相机1253及第四相机1254。作为各相机的例子，例如可以举出使用了CCD(Charge Coupled Device)传感器及CMOS(ComplementaryMetal Oxide Semiconductor)传感器的相机。
第一相机1251与第三相机1253是成对的相机。第一相机1251和第三相机1253分别以光轴相对于驾驶室121的地板面大致平行的方式在左右方向(±Ym方向)上隔开间隔地设置。第二相机1252与第四相机1254是成对的相机。第二相机1252和第四相机1254分别以光轴大致平行且它们的光轴相对于驾驶室121的地板面从驾驶室121前方(+Xm方向)向下方向(-Zm方向)倾斜的方式，在左右方向(±Ym方向)上隔开间隔地设置。
立体相机125以及第一相机1251、第二相机1252、第三相机1253、第四相机1254是拍摄装置的一例。通过使用由立体相机125中的至少一对相机拍摄到的一对拍摄数据，能够算出立体相机125与拍摄对象的距离。需要说明的是，在其他实施方式中，立体相机125可以由一对相机构成，也可以由三对以上的相机构成。另外，在其他实施方式中，作为拍摄装置，例如也可以使用像TOF(Time Of Flight)相机那样的能够得到图像和表示三维数据的距离图像这两者的传感器来代替立体相机125。另外，作为拍摄装置，也可以使用能够得到距离图像的相机。
《液压挖掘机的控制系统》
图3是示出第一实施方式的液压挖掘机的控制系统的结构的概要框图。
液压挖掘机100具备工作装置位置检测器117、位置方位运算器123、倾斜检测器124、立体相机125及控制装置126。
工作装置位置检测器117检测工作装置110的姿态角。第一实施方式的工作装置位置检测器117是检测动臂缸114、斗杆缸115及铲斗缸116各自的行程长度的行程检测器。由此，后述的控制装置126能够基于动臂缸114、斗杆缸115及铲斗缸116各自的行程长度来检测工作装置110的姿态角。另一方面，在其他实施方式中并不限于此，作为工作装置位置检测器117，也可以使用旋转编码器、水平器等角度检测器来代替行程检测器或与行程检测器并用。
位置方位运算器123运算回转体120的位置及回转体120所朝向的方位。位置方位运算器123具备从构成GNSS(Global Navigation Satellite System)的人工卫星接收测位信号的第一接收器1231及第二接收器1232。第一接收器1231及第二接收器1232分别设置于回转体120的不同位置。位置方位运算器123基于由第一接收器1231接收到的测位信号，检测现场坐标系中的回转体120的代表点O(车身坐标系的原点)的位置。
位置方位运算器123使用由第一接收器1231接收到的测位信号和由第二接收器1232接收到的测位信号来运算回转体120的方位作为检测出的第二接收器1232的设置位置相对于第一接收器1231的设置位置的关系。
倾斜检测器124计测回转体120的加速度及角速度，并基于计测结果来检测回转体120的倾斜(例如，表示相对于Xm轴的旋转的滚动、表示相对于Ym轴的旋转的俯仰、以及表示相对于Zm轴的旋转的偏航)。倾斜检测器124例如设置于驾驶室121的下表面。倾斜检测器124例如能够使用作为惯性计测装置的IMU(Inertial Measurement Unit)。
控制装置126具备处理器910、主存储器920、储存器930及接口940。
在储存器930存储有用于控制工作装置110的程序。作为储存器930的例子，可以举出HDD(Hard Disk Drive)、非易失性存储器等。储存器930可以是与控制装置126的总线直接连接的内部介质，也可以是经由接口940或通信线路与控制装置126连接的外部介质。
处理器910从储存器930读取程序且在主存储器920中展开，并按照程序来执行处理。另外，处理器910按照程序在主存储器920中确保存储区域。接口940与工作装置位置检测器117、操作装置1211、位置方位运算器123、倾斜检测器124、立体相机125及其周边设备连接，并进行信号的收发。
控制装置126通过执行程序，基于由立体相机125拍摄到的拍摄图像而进行施工现场等拍摄对象的计测。控制装置126根据由立体相机拍摄到的拍摄数据，生成表示拍摄对象的形状的三维数据。作为三维数据的例子，可以举出点群数据、多边形数据及体素数据。控制装置126生成由以立体相机125的位置为基准而相互正交的Xc轴、Yc轴、Zc轴构成的相机坐标系中的三维数据。另外，控制装置126通过执行程序，进行立体相机125的校正(外部校正及车身校正)的计算。外部校正是指求出构成立体相机125的一对相机之间的位置及姿态。另外，车身校正是指求出立体相机125与回转体120的位置关系。也就是，控制装置126是拍摄装置的校正装置的一例。
《工作装置的姿态》
图4是示出工作装置的姿态的例子的图。
控制装置126基于工作装置位置检测器117的检测结果来算出工作装置110的姿态。具体而言，作为工作装置110的姿态，控制装置126算出动臂111的姿态角α、斗杆112的姿态角β、铲斗113的姿态角γ及铲斗113的铲尖E的位置。
动臂111的姿态角α由从动臂销P1向回转体120的上方向(+Zm方向)延伸的射线和从动臂销P1向斗杆销P2延伸的射线所成的角表示。需要说明的是，根据回转体120的倾斜(俯仰角)θ，使得回转体120的上方向与铅垂上方向未必一致。
斗杆112的姿态角β由从动臂销P1向斗杆销P2延伸的射线和从斗杆销P2向铲斗销P3延伸的射线所成的角表示。
铲斗113的姿态角γ由从斗杆销P2向铲斗销P3延伸的射线和从铲斗销P3向铲斗113的铲尖E延伸的射线所成的角表示。
在此，将动臂111的姿态角α、斗杆112的姿态角β以及铲斗113的姿态角γ之和称为工作装置110的姿态角η。工作装置110的姿态角η与从铲斗销P3向回转体120的上方向(+Z方向)延伸的射线和从铲斗销P3向铲斗113的铲尖E延伸的射线所成的角相等。
车身坐标系中的铲斗113的铲尖E的位置根据动臂111的尺寸L1、斗杆112的尺寸L2、铲斗113的尺寸L3、动臂111的姿态角α、斗杆112的姿态角β、铲斗113的姿态角γ、回转体120的代表点O的位置、以及代表点O与动臂销P1的位置关系而求出。动臂111的尺寸L1是从动臂销P1到斗杆销P2的距离。斗杆112的尺寸L2是从斗杆销P2到铲斗销P3的距离。铲斗113的尺寸L3是从铲斗销P3到铲尖E的距离。代表点O与动臂销P1的位置关系例如由以代表点O为基准的动臂销P1的车身坐标系的位置表示。另外，代表点O与动臂销P1的位置关系例如也可以通过从代表点O到动臂销P1的距离、从代表点O向动臂销P1延伸的射线的Xm轴方向的倾斜、以及Ym轴方向的倾斜来表示。
《立体相机的校正》
立体相机125所具备的一对相机(第一相机1251和第三相机1253、或第二相机1252和第四相机1254)在相机坐标系中的姿态的关系可以用以下的式(1)表示。
Pc1＝Rcy·Rcp·Rcr·Pc3+Tc (1)
在此，Pc1表示第一相机1251在相机坐标系中的位置，Pc3表示第三相机1253在相机坐标系中的位置。Rcy是用于将第三相机1253的偏航角转换为第一相机1251的偏航角的旋转矩阵。Rcp是用于将第三相机1253的俯仰角转换为第一相机1251的俯仰角的旋转矩阵。Rcr是用于将第三相机1253的滚动角转换为第一相机1251的滚动角的旋转矩阵。Tc是用于将位置Pc3转换为位置Pc1的平移矩阵。
若要明确表示式(1)的各矩阵的要素，则成为以下的式(2)。
Figure BDA0002849050070000091
在此，x1表示第一相机1251在相机坐标系的Xc坐标中的位置。
y1表示第一相机1251在相机坐标系的Yc坐标中的位置。z1表示第一相机1251在相机坐标系的Zc坐标中的位置。x3表示第三相机1253在相机坐标系的Xc坐标中的位置。y3表示第三相机1253在相机坐标系的Yc坐标中的位置。z3表示第三相机1253在相机坐标系的Zc坐标中的位置。θy表示第三相机1253相对于第一相机1251绕Xc轴的相对角度(偏航角)。θp表示是第三相机1253相对于第一相机1251绕Yc轴的相对角度(俯仰角)。θr表示第三相机1253相对于第一相机1251绕Zc轴的相对角度(滚动角)。Tx表示第三相机1253相对于第一相机1251在Xc轴方向上的相对位置。Ty表示第三相机1253相对于第一相机1251在Yc轴方向上的相对位置。Tz表示第三相机1253相对于第一相机1251在Zc轴方向上的相对位置。
需要说明的是，在上述说明中，以第一相机1251与第三相机1253成对为例，对式(1)、式(2)进行了说明，但对于第二相机1252与第四相机1254成对的姿态的关系，也是相同的。
在第一实施方式的校正中，求出构成上述式(1)的矩阵Rcy、Rcp、Rcr、Tc。即，在第一实施方式的校正中，求出构成上述式(2)的参数θy、θp、θr、Tx、Ty、Tz。
另外，立体相机125所具备的各相机(第一相机1251、第二相机1252、第三相机1253、第四相机1254)与回转体120的位置关系可以用以下的式(3)表示。
Pm1＝Rmy·Rmp·Rmr·Pc1+Tm (3)
在此，Pc1表示第一相机1251在相机坐标系中的位置。Rmy是用于将第一相机1251在相机坐标系中的偏航角(绕Xc轴的角度)转换为车身坐标系中的偏航角(绕Xm轴的角度)的旋转矩阵。Rmp是用于将第一相机1251在相机坐标系中的俯仰角(绕Yc轴的角度)转换为车身坐标系中的俯仰角(绕Ym轴的角度)的旋转矩阵。Rmr是用于将第一相机1251在相机坐标系中的滚动角(绕Zc轴的角度)转换为车身坐标系中的滚动角(绕Zm轴的角度)的旋转矩阵。Tm是用于将位置Pc1转换为位置Pm1的平移矩阵。矩阵Rmy、矩阵Rmp、矩阵Rmr及矩阵Tm是车身参数，且是表示各相机与回转体120的位置及姿态信息的参数。
需要说明的是，在上述说明中，以第一相机1251为例对上述式(3)进行了说明，但对于第二相机1252、第三相机1253及第四相机1254，也是相同的。也就是，通过将上述式(3)应用于各相机，对于第一相机1251、第二相机1252、第三相机1253及第四相机1254的每一个相机，能够表示出表示它们与回转体120的位置关系的式子。
在第一实施方式的校正中，求出构成上述式(3)的矩阵Rmy、Rmp、Rmr、Tm。当求出这些矩阵时，控制装置126能够将相机坐标系中的位置转换为车身坐标系。
第一实施方式的液压挖掘机100的控制装置126通过由立体相机125拍摄工作装置目标Tm及外部目标Tg来进行立体相机125的校正。工作装置目标Tm是在立体相机125的拍摄图像中清晰地映现的附加于工作装置110的图形。外部目标Tg是在立体相机125的拍摄图像中清晰地映现的设置于施工现场的图形。第一实施方式的工作装置目标Tm及外部目标Tg例如是在白底的板标记了黑点而成的目标。通过是这样的图形，能够使拍摄图像中的对比度变得清晰，并可靠地确定工作装置目标Tm及外部目标Tg的位置。
图5是示出第一实施方式的用于执行校正方法的工作装置目标的例子的图。
工作装置目标Tm安装于铲斗113的铲刀的规定位置。在第一实施方式中，工作装置目标Tm安装于铲斗113的铲刀中的中央的铲刀。通过控制装置126的运算，由于能够算出铲斗113的中央的铲刀的铲尖在车身坐标系中的位置，因此，若铲斗113的铲尖与工作装置目标Tm的中心位置的位置关系已知，则控制装置126能够正确地算出安装于中央的铲刀的工作装置目标Tm的中心位置。需要说明的是，在其他实施方式中，工作装置目标Tm也可以安装于多个铲刀，例如安装于中央的铲刀和左右两端的铲刀共计三个铲刀。另外，在其他实施方式中，只要是立体相机125的各相机能够拍摄的工作装置110上的位置，工作装置目标Tm也可以安装于铲斗113的铲刀以外的部位，例如也可以在安装于工作装置的棒状附件的前端安装工作装置目标Tm。需要说明的是，在通过控制装置126的运算而算出的工作装置目标Tm的位置信息中包含GNSS的误差及其他误差。另一方面，通过控制装置126的运算而算出的工作装置目标Tm的位置信息的精度比立体相机125的校正前的参数的精度高。因此，在本实施方式中，将工作装置目标Tm的位置信息用于立体相机125的参数校正。需要说明的是，中心位置已知的工作装置目标Tm是位于作业范围内的已知点目标的一例。
在此，工作装置目标Tm安装于铲斗113的中央的铲刀。
图6是示出在第一实施方式中由立体相机拍摄的工作装置目标的位置的图。
在执行立体相机125的校正时，液压挖掘机100的操作员以各工作装置目标Tm到达例如图6所示的位置p1、位置p2、位置p3、位置p4、位置p5、位置p6、位置p7、位置p8的方式控制工作装置110。然后，构成立体相机125的各相机在各位置处拍摄工作装置目标Tm。此时，控制装置126在立体相机125进行拍摄时，从工作装置位置检测器117取得示出工作装置的位置的信息。
需要说明的是，位置p1至p8的位置不一定必须是图6所示的位置，液压挖掘机100的操作员也可以使工作装置目标Tm移动到任意的位置而进行拍摄。另外，工作装置目标Tm的位置的数量不一定必须是8点，只要是任意的多个点即可。
图7是示出第一实施方式的用于执行校正方法的外部目标的例子的图。
图7所示，外部目标Tg具备面向地面的接地板Tg1和从接地板Tg1垂直立起且描绘有既定图形的显示板Tg2。需要说明的是，外部目标Tg的结构也可以不一定具备接地板Tg1和显示板Tg2，只要根据立体相机125的拍摄图像能够识别外部目标Tg的位置，则外部目标Tg可以是任意的结构。例如，其他实施方式的外部目标Tg也可以仅具备显示板Tg2，并安装于地面、壁等。另外，对于其他实施方式的外部目标Tg，可以不具备显示板Tg2而是直接描绘于地面、壁的图形，也可以不在显示板Tg2描绘图形。另外，描绘于显示板Tg2的图形只要是能够识别位置的图形，则可以是任意的形状、颜色、图案的图形。在第一实施方式的校正中，外部目标Tg设置于施工现场的任意的多个位置(即，现场坐标系中的位置未知的多个位置)和现场坐标系中的位置已知的位置。以下，将某个坐标系中的位置未知的位置也称为未知点，将某个坐标系中的位置已知的位置也称为已知点。另外，将配置于未知点的外部目标Tg也称为未知外部目标，将配置于已知点的外部目标Tg也称为已知外部目标。
图8是示出在第一实施方式中由立体相机拍摄的外部目标的第一位置的图。
在执行立体相机125的校正时，液压挖掘机100的操作员将各外部目标Tg设置于例如图8所示的位置p11、位置p12、位置p13、位置p14、位置p15、位置p16、位置p17、位置p18、位置p19。位置p11～p19中任一个都是未知点。也就是，各外部目标Tg的设置位置可以不正确，另外，现场坐标系中的位置是未知的。需要说明的是，外部目标Tg的数量不一定必须是9点，只要是任意的多个未知点即可。
此时，优选位置p11～p19在立体相机125的拍摄范围内分散地配置。
控制装置126针对各相机，确定对位置p1～p8处的工作装置目标Tm、以及位置p11～p19处的外部目标Tg进行拍摄到的拍摄图像中的工作装置目标Tm的中心位置。需要说明的是，拍摄图像中的工作装置目标Tm的中心位置是工作装置目标Tm的拍摄数据的一例。另外，控制装置126基于由工作装置位置检测器117检测出的铲斗113的铲尖位置、铲斗113的姿态角η、以及工作装置目标Tm的中心与铲尖的位置关系，求出工作装置目标Tm在车身坐标系中的中心位置(位置p1～p8在车身坐标系中的位置)。然后，控制装置126通过使用位置p1～p8及位置p11～p19的各相机在拍摄图像中的位置和位置p1～p8在车身坐标系中的位置来进行收敛计算，从而求出各相机的参数。具体而言，控制装置126通过上述收敛计算，针对各相机将构成上述式(3)的矩阵Rmy、Rmp、Rmr、Tm分别求出，由此能够得到构成上述式(1)的矩阵Rcy、Rcp、Rcr、Tc。
需要说明的是，在其他实施方式中，控制装置126也可以对使用了位置p1～p8的各相机在拍摄图像中的位置和位置p1～p8在车身坐标系中的位置的收敛计算、以及使用了位置p11～p19的各相机在拍摄图像中的位置的收敛计算分别并行地进行计算，从而求出各相机的参数。
在此，控制装置126通过使用位置p1～p8的各相机在拍摄图像中的位置和位置p1～p8在车身坐标系中的位置来进行收敛计算，能够以在至少由位置p1～p8包围的范围内确保立体计测的精度的方式求出相机的参数。另外，控制装置126通过进行使用了位置p11～p19的各相机在拍摄图像中的位置的收敛计算，能够以在由位置p11～p19包围的范围内确保立体计测的成立的方式求出相机的参数。另一方面，由于位置p11～p19在车身坐标系中的位置不明确，因此在由位置p11～p19包围的范围内不能确保立体计测的精度。也就是，对于由位置p11～p19包围的范围内的任意的位置，能够通过立体计测算出距离，而另一方面，该距离的精度有可能低。需要说明的是，在其他实施方式中，控制装置126也可以不使用未知点的位置(位置p11～p19)而进行收敛计算。
因此，控制装置126在通过上述步骤求出各相机的参数之后，进一步使用位置已知的外部目标Tg的拍摄图像来进一步调整各相机的参数，由此使比由位置p1～p8包围的范围靠外侧的范围中的距离的精度提高。
图9是示出第一实施方式中的外部目标的设置要领的图。
在第一实施方式中，将上述外部目标Tg配置于现场坐标系中的位置已知的位置p20(已知点)，并对其进行拍摄，由此调整各相机的参数。在第一实施方式中，外部目标Tg例如以GNSS基准站C的中心位于在显示板Tg2描绘的图形的正下方的方式设置于施工现场。GNSS基准站C在现场坐标系中的位置(Xg0，Yg0，Zg0)是已知的，另外，从外部目标Tg的接地板Tg1的底面到描绘于显示板Tg2的图形的中心点的距离h是已知的，因此能够正确地确定外部目标Tg的图形在现场坐标系中的中心位置p20(Xg0，Yg0，Zg0+h)。需要说明的是，在其他实施方式中，GNSS基准站C不一定必须是现场坐标系中的基准点(原点)。需要说明的是，由于使用全站仪等高精度的传感器来计测已知的外部目标Tg的位置信息，因此其精度比立体相机125的校正前的参数的精度高。因此，在本实施方式中，通过在立体相机125的参数校正中使用外部目标Tg的位置信息，能够使立体计测的精度提高。
图10是示出在第一实施方式中由立体相机拍摄的外部目标的第二位置的图。
另外，液压挖掘机100的操作员在使用工作装置目标Tm、以及作为未知点的外部目标Tg进行校正之后，使液压挖掘机100移动，以使得设置于位置p20的作为已知点的外部目标Tg远离工作装置110的作业范围(包含p1～p8的范围)。需要说明的是，作业范围是指在车身坐标系中，通过工作装置110的操作而能够使铲斗113的铲尖E到达的范围。然后，构成立体相机125的各相机对位置p20的外部目标Tg进行拍摄。需要说明的是，在图10所示的例子中，立体相机125对现场坐标系中的位置已知的外部目标Tg进行一次拍摄，但不限于此。控制装置126也可以一边使立体相机125与现场坐标系中的位置已知的外部目标Tg之间的相对位置不同，一边针对每个该相对位置，使立体相机125对现场坐标系中的位置已知的外部目标Tg进行多次拍摄。在该情况下，能够比对现场坐标系中的位置已知的外部目标Tg进行一次拍摄的情况更高精度地求出立体相机125的参数。需要说明的是，设置于作业范围外的作为已知点的外部目标Tg是位于作业范围外的已知点目标的一例。另外，设置于作业范围内的作为已知点的外部目标Tg是位于作业范围内的已知点目标的一例。
控制装置126根据基于对位置p20处的外部目标Tg进行拍摄而得到的拍摄图像的立体计测，算出外部目标Tg在相机坐标系中的中心位置，并基于参数存储部204所存储的表示立体相机125的位置及姿态的参数，将相机坐标系中的该中心位置转换为外部目标Tg在车身坐标系中的中心位置(第一位置)。另外，控制装置126对外部目标Tg在现场坐标系中的中心位置进行坐标转换，求出外部目标Tg在车身坐标系中的中心位置(第二位置)。然后，控制装置126以第一位置与第二位置的位置之差(距离)成为最小的方式调整各相机的参数。
需要说明的是，由于在参数存储部204存储有表示各相机在车身坐标系中的位置及姿态的参数，因此通过算出第一位置及第二位置，可以知道相机与外部目标Tg的位置关系。也就是，第一位置与参数存储部204所存储的参数的组合是作为相机与外部目标Tg之间的位置关系的第一位置关系的一例。另外，第二位置与参数存储部204所存储的参数的组合是作为相机与外部目标Tg之间的位置关系的第二位置关系的一例。
需要说明的是，在其他实施方式中，控制装置126也可以不基于外部目标Tg在相机坐标系中的中心位置而基于立体相机125与外部目标Tg之间的距离来调整各相机的参数。具体而言，控制装置126也可以通过以下的步骤来调整相机的参数。控制装置126根据基于对位置p20处的外部目标Tg进行拍摄到的拍摄图像的立体计测，求出立体相机125与外部目标Tg的中心位置之间的距离(第一距离)。另外，控制装置126基于外部目标Tg在现场坐标系中的中心位置和立体相机125在车身坐标系中的位置，通过坐标系的转换而求出立体相机125与外部目标Tg的中心位置之间的距离(第二距离)。然后，控制装置126以第一距离与第二距离之差成为最小的方式调整各相机的参数。第一距离和第二距离中任一个都是表示立体相机125与外部目标Tg的位置关系的值。
《液压挖掘机的控制装置》
图11是示出第一实施方式的液压挖掘机的控制装置的结构的框图。
控制装置126具备拍摄数据取得部200、作业机械信息存储部201、工作装置位置确定部202、第一校正部203、参数存储部204、转换参数算出部205、外部目标位置算出部206、外部目标位置取得部207、外部目标位置转换部208、第二校正部209。
拍摄数据取得部200取得由立体相机125的各相机拍摄到的图像，并通过立体计测来生成拍摄对象的三维数据。图像及三维数据是拍摄数据的一例。
作业机械信息存储部201存储动臂111的尺寸L1、斗杆112的尺寸L2、铲斗113的尺寸L3、铲斗113的轮廓形状、以及回转体120的代表点O的位置与动臂销P1的位置关系等。
工作装置位置确定部202基于由工作装置位置检测器117检测出的动臂缸114、斗杆缸115及铲斗缸116的行程量、以及由作业机械信息存储部201存储的要素的值来确定铲斗113的位置及姿态。由此，工作装置位置确定部202确定车身坐标系中的工作装置目标Tm的位置。
第一校正部203根据基于由工作装置位置确定部202确定出的工作装置目标Tm在车身坐标系中的位置(位置p1～p8)、位置p1～p8处的工作装置目标Tm的各相机在拍摄图像中的位置、以及作为未知点的位置p11～p18处的外部目标Tg的各相机在拍摄图像中的位置进行的收敛计算，对立体相机125的参数进行计算并更新，即进行校正。第一校正部203将通过计算得到的参数(例如，式(1)、式(3)的各矩阵)记录于参数存储部204。
参数存储部204存储立体相机125的参数。
转换参数算出部205基于由位置方位运算器123运算出的回转体120的位置及方位、以及由倾斜检测器124检测出的回转体120的倾斜角，算出现场坐标系与车身坐标系之间的转换参数。由此，通过对存储于参数存储部204的表示立体相机125在车身坐标系中的位置及姿态的参数进行坐标转换，能够确定立体相机125在现场坐标系中的位置及姿态。转换参数算出部205是取得拍摄装置的位置的拍摄装置位置取得部的一例。
外部目标位置算出部206使用参数存储部204所存储的立体相机125的参数，对拍摄数据取得部200通过立体计测得到的外部目标Tg在相机坐标系中的位置进行坐标转换，由此算出外部目标Tg在车身坐标系中的位置。外部目标位置算出部206是第一位置关系确定部的一例，该外部目标位置算出部206基于立体相机125的拍摄图像来确定作为立体相机125与外部目标Tg之间的位置关系的第一位置关系。
外部目标位置取得部207通过在已知的GNSS基准站C在现场坐标系中的位置加上到外部目标Tg的图形中心的高度h，算出外部目标Tg在现场坐标系中的位置p20。在第一实施方式中，已知的GNSS基准站C在现场坐标系中的位置、以及到外部目标Tg的图形中心的高度h被预先装入用于使控制装置126动作的程序。需要说明的是，在其他实施方式中，也可以是，GNSS基准站C在现场坐标系中的位置、以及高度h通过操作员的操作等经由接口940输入，输入的值记录于储存器930，并由外部目标位置取得部207读取该值。另外，在其他实施方式中，在现场坐标系中的位置已知的点不位于图形中心的正下方的情况(例如，使显示板Tg2的左下方与GNSS基准站C对准的情况等)下，外部目标位置取得部207使用表示现场坐标系中的位置已知的点与图形中心之间的相对位置的信息来代替高度h，以算出位置p20。
外部目标位置转换部208使用由转换参数算出部205算出的转换参数，将由外部目标位置取得部207算出的外部目标Tg在现场坐标系中的位置转换为车身坐标系的位置。也就是，外部目标位置转换部208能够确定立体相机125与外部目标Tg在车身坐标系中的位置关系。外部目标位置转换部208是第二位置关系确定部的一例，该外部目标位置转换部208基于立体相机125的位置与外部目标Tg的位置而确定作为立体相机125与外部目标Tg之间的位置关系的第二位置关系。
第二校正部209以第一位置关系与第二位置关系之差成为最小的方式反复执行修正立体相机125的参数(车身坐标系中的位置及姿态)的计算，直到第一位置关系与第二位置关系之差成为规定值以下为止(进行收敛计算)，由此更新参数存储部204所存储的参数，其中，该第一位置关系是由外部目标位置算出部206算出的作为立体相机125与外部目标Tg之间的位置关系，该第二位置关系是由外部目标位置转换部208得到的作为立体相机125与外部目标Tg之间的位置关系。
《立体相机的校正方法》
图12是示出第一实施方式的立体相机的校正方法的流程图。
在开始立体相机125的校正之前，预先在作业机械信息存储部201存储工作装置110的各种尺寸(步骤S0)。
液压挖掘机100的操作员以工作装置目标Tm到达规定的位置例如图6所示的位置p1至p8的各个位置的方式，对操作装置1211进行操作并使工作装置110驱动。
操作员在工作装置目标Tm到达位置p1至p8的各个位置时，对操作装置1211进行操作，并向立体相机125输出拍摄指示。由此，控制装置126的拍摄数据取得部200针对工作装置目标Tm的各个位置(位置p1至p8)，取得由立体相机125的各相机拍摄到的图像(步骤S1)。此时，工作装置位置确定部202基于由工作装置位置检测器117检测出的动臂缸114、斗杆缸115及铲斗缸116的行程量、以及由作业机械信息存储部201存储的要素的值，针对工作装置目标Tm的各个位置确定工作装置目标Tm在车身坐标系中的位置(步骤S2)。
另外，施工现场的作业者将外部目标Tg设置于任意的位置、例如图8所示的位置p11至p19的各个位置。此时，设置外部目标Tg的位置是未知点。即，作业者可以不知晓位置p11至p19的正确的位置。
操作员在将外部目标Tg设置于任意的位置之后，对操作装置1211操作，并向立体相机125输出拍摄指示。控制装置126的拍摄数据取得部200取得由立体相机125的各相机拍摄到的图像(步骤S3)。
第一校正部203根据基于各拍摄图像中的位置p1～p8、p11～p19的中心位置和各位置p1～p8在车身坐标系中的位置进行的收敛计算，算出立体相机125的参数(步骤S4)。第一校正部203在求出参数后，将得到的参数记录更新于参数存储部204(步骤S5)。
接下来，操作员对操作装置1211进行操作使液压挖掘机100移动，以使得设置于GNSS基准站C的正上方(已知点)的外部目标Tg如图10所示的那样位于工作装置110的作业范围外。操作员在判断为外部目标Tg位于工作装置110的作业范围外时，对操作装置1211进行操作，并向立体相机125输出拍摄指示。控制装置126的拍摄数据取得部200取得由立体相机125的各相机拍摄到的图像，并基于该图像进行立体计测，由此算出外部目标Tg在相机坐标系中的位置(步骤S6)。
接下来，转换参数算出部205基于由位置方位运算器123运算出的回转体120的位置和方位、以及由倾斜检测器124检测出的回转体120的倾斜角，算出现场坐标系与车身坐标系之间的转换参数(步骤S7)。
外部目标位置算出部206使用参数存储部204所存储的立体相机125的参数，将在步骤S8中拍摄数据取得部200通过立体计测得到的外部目标Tg在相机坐标系中的位置换算为外部目标Tg在车身坐标系中的位置(步骤S8)。
外部目标位置取得部207通过在已知的GNSS基准站C在现场坐标系中的位置加上到外部目标Tg的图形中心的高度，算出外部目标Tg在现场坐标系中的中心位置(步骤S9)。接下来，外部目标位置转换部208使用由转换参数算出部205算出的现场坐标系与车身坐标系之间的转换参数，将由外部目标位置取得部207算出的外部目标Tg在现场坐标系中的位置转换为车身坐标系的位置(步骤S10)。
第二校正部209以由外部目标位置算出部206算出的外部目标Tg的位置与由外部目标位置转换部208得到的外部目标Tg的位置之差成为最小的方式对立体相机的参数进行收敛计算，并更新参数存储部204所存储的参数(步骤S11)。需要说明的是，第二校正部209也可以至少更新参数存储部204所存储的参数中的与立体计测中的尺度有关的参数。由此，控制装置126能够对于比工作装置110的作业范围远的点，以可以更高精度地计算距离的方式校正立体相机125。需要说明的是，如上所述，第二校正部209也可以在步骤S11中以相机与外部目标Tg的距离(第一距离与第二距离)之差成为最小的方式校正相机的参数。
《作用效果》
这样，根据第一实施方式，控制装置126基于第一位置关系和第二位置关系来校正立体相机125，其中，该第一位置关系是通过基于第一立体相机125的拍摄图像的立体计测而确定出的立体相机125与外部目标Tg之间的位置关系，该第二位置关系是基于立体相机125的位置和外部目标Tg的位置而确定出的位置关系。由于外部目标Tg不是设置于工作装置110上而是设置于施工现场，因此能够任意地设定立体相机125与外部目标Tg的距离来校正立体相机125。因此，控制装置126通过将立体相机125与外部目标Tg的距离设定在工作装置110的作业范围外，能够以比工作装置110的作业范围远的点处的尺度的计测精度变高的方式校正立体相机125。
另外，根据第一实施方式，外部目标Tg设置于GNSS基准站C的正上方。由此，控制装置126能够可靠地确定外部目标Tg在现场坐标系中的位置。
另外，根据第一实施方式，控制装置126首先基于设置于基于工作装置110的工作装置目标Tm、以及未知点的外部目标Tg来校正立体相机125的参数，之后基于已知点的外部目标Tg来更新立体相机125的参数。由此，在使用已知点的外部目标Tg进行校正之前，成为以下状态：以精度至少在工作装置110的作业范围内变高的方式求出立体相机125的参数。之后，控制装置126通过进行基于已知点的外部目标Tg的校正，能够以精度在工作装置110的作业范围外也变高的方式更新立体相机125的参数。需要说明的是，在其他实施方式中不限于此，控制装置126例如也可以同时进行基于工作装置目标Tm及未知点的外部目标Tg的立体相机125的参数的校正、以及基于已知点的外部目标Tg的立体相机125的参数的校正。
另外，在第一实施方式中，工作装置目标Tm安装于中央的铲刀，控制装置126基于此来进行收敛计算，但不限于此。例如，在其他实施方式中，工作装置目标Tm可以安装于多个铲刀，例如也可以安装于中央的铲刀以及左右两端的铲刀共计3个铲刀。在此，也可以不正确地知道设置于中央的铲刀以外的工作装置目标Tm在车身坐标系中的位置。也就是，只要工作装置目标Tm中的至少一个设置于已知点，则其他工作装置目标Tm也可以设置于未知点。在以下的第二实施方式中也同样地，工作装置目标Tm也可以安装于多个铲刀。
<第二实施方式>
对第二实施方式进行说明。
第一实施方式的液压挖掘机100的控制装置126在使用工作装置目标Tm以及作为未知点的外部目标Tg进行校正之后，使用现场坐标系的位置已知的外部目标Tg进行校正，也就是进行两阶段的校正。与此相对，第二实施方式的控制装置126使用工作装置目标Tm、作为未知点的外部目标Tg、以及现场坐标系的位置已知的外部目标Tg，来进行一次立体相机125的校正。
《立体相机的校正方法》
图13是示出第二实施方式的立体相机的校正方法的流程图。
在开始立体相机125的校正之前，预先在作业机械信息存储部201存储工作装置110的各种尺寸(步骤S100)。
液压挖掘机100的操作员以工作装置目标Tm到达规定的位置例如图6所示的位置p1至p8的各个位置的方式，对操作装置1211进行操作并使工作装置110驱动。
操作员在工作装置目标Tm到达位置p1至p8的各个位置时，对操作装置1211进行操作，并向立体相机125输出拍摄指示。由此，控制装置126的拍摄数据取得部200针对各个位置(位置p1至p8)，取得由立体相机125的各相机拍摄到的图像(步骤S101)。此时，工作装置位置确定部202基于由工作装置位置检测器117检测出的动臂缸114、斗杆缸115及铲斗缸116的行程量、以及由作业机械信息存储部201存储的要素的值，针对各个位置，确定工作装置目标Tm在车身坐标系中的位置(步骤S102)。
另外，施工现场的作业者将外部目标Tg设置于任意的位置(未知点)、例如图8所示的位置p11至p19的各个位置。
操作员每当判断为外部目标Tg设置于位置p11至p19中任一个位置时，则对操作装置1211进行操作，并向立体相机125输出拍摄指示。控制装置126的拍摄数据取得部200针对各个位置(位置p11至p19)，取得由立体相机125的各相机拍摄到的图像(步骤S103)。
接下来，操作员对操作装置1211进行操作并使液压挖掘机100移动，以使得设置于GNSS基准站C的正上方(已知点)的外部目标Tg如图10所示的那样位于工作装置110的作业范围外。操作员在判断为外部目标Tg位于工作装置110的作业范围外时，对操作装置1211进行操作，并向立体相机125输出拍摄指示。控制装置126的拍摄数据取得部200取得由立体相机125的各相机拍摄到的图像，并求出该拍摄图像中的外部目标Tg的中心位置(步骤S104)。需要说明的是，拍摄图像中的外部目标Tg的中心位置是外部目标Tg的拍摄数据的一例。
接下来，转换参数算出部205基于由位置方位运算器123运算出的回转体120的位置及方位、以及由倾斜检测器124检测出的回转体120的倾斜角，算出现场坐标系与车身坐标系之间的转换参数(步骤S105)。
外部目标位置取得部207通过在已知的GNSS基准站C在现场坐标系中的位置加上到外部目标Tg的图形中心的高度，算出外部目标Tg在现场坐标系中的中心位置(步骤S106)。接下来，外部目标位置转换部208使用由转换参数算出部205算出的现场坐标系与车身坐标系之间的转换参数，将由外部目标位置取得部207算出的外部目标Tg在现场坐标系中的位置转换为车身坐标系的位置(步骤S107)。
然后，第一校正部203通过基于拍摄图像中的位置p1～p8、p11～p19、p20的中心位置、以及位置p1～p8及位置p20在车身坐标系中的位置进行的收敛计算，算出立体相机125的参数(步骤S108)。第一校正部203将得到的参数记录于参数存储部204(步骤S109)。
这样，根据第二实施方式，通过基于拍摄图像中的位置p1～p8、p11～p19、p20的中心位置、以及位置p1～p8及位置p20在车身坐标系中的位置进行收敛计算，能够在1阶段的立体相机125的校正作业中，确保工作装置110的作业范围内的立体计测的精度以及比工作装置110的作业范围靠远方的区域中的立体计测的精度。
需要说明的是，在第二实施方式中，控制装置126确定工作装置目标Tm在车身坐标系中的位置，并使用此位置进行收敛计算，但不限于此。例如，其他实施方式的控制装置126也可以不使用工作装置目标Tm在车身坐标系中的位置，而是基于已知的外部目标Tg在车身坐标系中的位置、以及拍摄图像中的工作装置目标Tm及外部目标Tg的中心位置来进行收敛计算。
<第三实施方式>
对第三实施方式进行说明。
第一、第二实施方式的液压挖掘机100的控制装置126使用工作装置目标Tm来进行校正。与此相对，第三实施方式的控制装置126不使用工作装置目标Tm而进行立体相机125的校正。
图14是示出在第三实施方式中由立体相机拍摄的已知点的外部目标Tg的位置的图。
在第三实施方式中，在使用设置于工作装置110的作业范围外的已知点的外部目标Tg来执行立体相机125的校正时，如图14所示，液压挖掘机100的操作员使回转体120相对于外部目标Tg回转，并对从立体相机125观察位于不同角度的外部目标Tg进行拍摄。也就是，操作员以回转体120到达位置p101、位置p102、位置p103的方式控制回转体120。此时，液压挖掘机100的操作员也可以使行驶体130驱动，并从不同的距离多次拍摄外部目标Tg。并且，构成立体相机125的各相机在各位置处拍摄外部目标Tg。
然后，控制装置126通过基于各相机在拍摄图像中的位置p101～p103的中心位置、以及位置p101～p103在车身坐标系中的位置进行的收敛计算，算出立体相机125的参数。也就是，控制装置126使用立体相机125与已知点的外部目标Tg之间的多个相对位置来进行立体相机125的校正。
《立体相机的校正方法》
图15是示出第三实施方式的立体相机的校正方法的流程图。
在参数存储部204中，在开始立体相机125的校正之前，预先在作业机械信息存储部201存储工作装置110的各种尺寸(步骤S200)。首先，外部目标位置取得部207通过在已知的GNSS基准站C在现场坐标系中的位置加上到外部目标Tg的图形中心的高度h，算出外部目标Tg在现场坐标系中的位置(步骤S201)。
接下来，液压挖掘机100的操作员在以液压挖掘机100与外部目标Tg的相对位置位于工作装置110的作业范围外的方式使液压挖掘机100行驶的基础上，以回转体120到达任意的位置例如图14所示的位置p101至p103的各个位置的方式，对操作装置1211进行操作并使回转体120回转。
操作员在使回转体120移动到位置p101至p103的各个位置时，对操作装置1211进行操作，并向立体相机125输出拍摄指示。由此，控制装置126的拍摄数据取得部200针对各个位置(位置p101至p103)，取得由立体相机125的各相机拍摄到的图像，并求出该拍摄图像中的外部目标Tg的中心位置(步骤S202)。
接下来，转换参数算出部205基于由位置方位运算器123运算出的回转体120的位置及方位、以及由倾斜检测器124检测出的回转体120的倾斜角，针对各个位置算出现场坐标系与车身坐标系之间的转换参数(步骤S203)。
接下来，外部目标位置转换部208使用由转换参数算出部205算出的转换参数，针对各个位置，将由外部目标位置取得部207算出的外部目标Tg在现场坐标系中的位置转换为车身坐标系的位置(步骤S204)。
第一校正部203基于位置p101～p103在拍摄图像中的图像中心位置、以及位置p101～p103在车身坐标系中的位置，算出立体相机125的参数(步骤S205)。第一校正部203在求出参数后，将得到的参数记录于参数存储部204(步骤S206)。
《作用效果》
这样，根据第三实施方式，控制装置126通过将立体相机125与外部目标Tg的距离设定为远离工作装置110的作业范围，能够对于比工作装置110的作业范围远的点，以可以更高精度地计算距离的方式校正立体相机125。
另外，根据第三实施方式，控制装置126针对立体相机125与外部目标Tg的每个相对位置，确定外部目标Tg在拍摄图像中的中心位置、以及外部目标Tg的从现场坐标系的位置转换成的在车身坐标系中的位置，并基于这些位置来校正立体相机125。由此，控制装置126能够更高精度地求出立体相机125的参数。另外，由此，能够省略使用了工作装置目标Tm的校正，而使用外部目标Tg来直接校正立体相机125。
需要说明的是，第三实施方式的控制装置126通过液压挖掘机100的回转，针对立体相机125与外部目标Tg的多个相对位置，按每个相对位置取得拍摄图像，但不限于此。例如，在其他实施方式中，也可以通过液压挖掘机100的行驶，针对多个相对位置，按每个相对位置取得拍摄图像。例如，也可以是，以外部目标Tg位于工作装置110的作业范围内的位置(近距离)且外部目标Tg位于工作装置110的作业范围外的位置(远距离)的方式使液压挖掘机100行驶，并在各个位置取得拍摄图像。
另外，在其他实施方式中，也可以通过在多个已知点的各个点设置外部目标Tg，针对立体相机125与多个外部目标Tg的各个相对位置取得拍摄图像。在该情况下，控制装置126基于多个外部目标Tg的位置、以及多个外部目标Tg的拍摄数据来校正拍摄装置。另外，在其他实施方式中，也可以在多个任意的位置设置外部目标Tg，并通过高精度的传感器计测出各个外部目标Tg的位置而用作已知点的外部目标Tg。另外，在其他实施方式中，控制装置126也可以通过液压挖掘机100的回转或行驶，使立体相机125与多个外部目标Tg的相对位置不同，并针对每个相对位置取得拍摄图像。在该情况下，控制装置126基于每个位置关系的多个外部目标Tg的位置、以及每个位置关系的多个外部目标Tg的拍摄数据来校正拍摄装置。即，外部目标Tg的数量可以是一个，也可以是多个，拍摄时的立体相机125与外部目标Tg的相对位置的数量可以是一个，也可以是多个。也就是，立体相机125也可以不改变液压挖掘机100的姿态而对一个外部目标Tg进行一次拍摄，也可以不改变液压挖掘机100的姿态而对多个外部目标Tg进行一次拍摄，也可以改变液压挖掘机100的姿态而对一个外部目标Tg进行多次拍摄，也可以改变液压挖掘机100的姿态而对多个外部目标Tg进行多次拍摄。
另外，第三实施方式的控制装置126基于已知点的外部目标Tg在拍摄图像中的中心位置、以及已知点的外部目标Tg在现场坐标系的位置来进行收敛计算，但不限于此。例如，其他实施方式的控制装置126也可以基于已知点的外部目标Tg在拍摄图像中的中心位置、未知点的外部目标Tg在拍摄图像中的中心位置、以及已知点的外部目标Tg在现场坐标系的位置来进行收敛计算。
<第四实施方式>
对第四实施方式进行说明。
第一实施方式至第三实施方式中的校正处理可以作为初期校正或在立体相机125产生偏移时进行的校正处理来实施。为了使液压挖掘机100的控制装置126正确地识别地形，优选适当地保持立体相机125的参数。另一方面，在立体相机125未产生偏移时，进行校正处理是繁琐的。
因此，在第四实施方式中，提供一种校正系统，该校正系统能够在用第一至第三中任一个实施方式所示的方法进行了校正处理之后，定期地检查立体相机125是否产生偏移，并在产生偏移的情况下进行校正处理。
《校正系统》
图16是示出第四实施方式的校正系统的结构的概要图。
第四实施方式的校正系统500具备液压挖掘机100和终端装置503。作为终端装置503的例子，可以举出供操作员操作的便携终端、PC、车载监视器等。液压挖掘机100的控制装置126能够通过有线通信或无线LAN等近距离无线通信与终端装置503进行通信。终端装置503提供用于辅助由操作员进行的参数检查处理及校正处理的用户接口。
《控制装置的结构》
图17是示出第四实施方式的控制装置的结构的概要框图。
第四实施方式的控制装置126除了第一至第三实施方式的控制装置126的结构之外，还具备参数检查部210及通信部211。需要说明的是，关于第一至第三中任一个实施方式的处理，省略说明。
参数检查部210判定是否需要校正参数存储部204所存储的参数。具体而言，参数检查部210基于取得的已知的目标的位置与通过立体计测确定出的外部目标的位置之差，判定是否需要校正。也就是，控制装置126是拍摄装置的监视装置的一例。
通信部211通过与终端装置503的通信而进行数据的收发。通信部211是输出是否需要校正的判定结果的输出部的一例。
《终端装置的结构》
图18是示出第四实施方式的终端装置的结构的概要框图。
终端装置503具备处理器610、主存储器620、储存器630、接口640、输入装置650及显示装置660。
在储存器630存储有用于辅助参数检查处理及校正处理的程序。作为储存器630的例子，可以举出HDD(Hard Disk Drive)、非易失性存储器等。储存器630可以是与终端装置503的总线直接连接的内部介质，也可以是经由接口640或通信线路与终端装置503连接的外部介质。
处理器610从储存器630读取程序且在主存储器620中展开，并按照程序来执行处理。另外，处理器610按照程序在主存储器620确保存储区域。接口640通过近距离无线通信与液压挖掘机100的控制装置126连接，并进行信号的收发。另外，输入装置650及显示装置660经由接口640与处理器610连接。作为输入装置650及显示装置660的例子，可以举出触摸面板等。
处理器610从储存器630读取程序，而具备显示控制部611、基准站选择部612、指示发送部613、拍摄数据接收部614、检查结果接收部615及校正结果接收部616。需要说明的是，在储存器630确保有基准站存储部631的存储区域。在其他实施方式中，GNSS基准站C的位置信息也可以存储于控制装置126。
基准站存储部631与设置于施工现场的多个GNSS基准站C分别建立关联，并存储该GNSS基准站C在现场坐标系中的位置、以及从GNSS基准站C的位置起到设置于该GNSS基准站C上的外部目标Tg的图形中心的高度(图9的高度h)。
显示控制部611向显示装置660输出显示信息。
基准站选择部612经由输入装置650从操作员接受基准站存储部631所存储的多个GNSS基准站C中的用于参数检查的GNSS基准站C的选择。需要说明的是，在其他实施方式中，基准站选择部612也可以从控制装置126接收通过映现于立体相机125的图像的立体计测而得到的外部目标Tg的位置信息，并从基准站存储部631所存储的多个GNSS基准站C中，选择与该位置信息所示的位置最接近的GNSS基准站C。另外，在其他实施方式中，终端装置503也可以具备能够直接输入基准站的坐标位置的基准站输入部来代替基准站选择部612。
指示发送部613向控制装置126发送经由输入装置650从操作员接受的参数检查的开始指示及校正的开始指示。
拍摄数据接收部614从控制装置126接收由立体相机125拍摄到的拍摄数据。
检查结果接收部615从控制装置126接收参数检查处理的结果。参数检查处理的结果是示出是否需要校正立体相机125的信息。
校正结果接收部616从控制装置126接收校正处理的结果。校正处理的结果是示出校正处理是否成功的信息。
《立体相机的参数检查及校正方法》
图19、图20是示出第四实施方式的参数检查及校正处理的时序图。操作员在使用液压挖掘机100的作业开始时，判断在该日的作业中是否使用立体相机125，并在该日的作业中有可能使用立体相机125的情况下，执行以下所示的参数检查。
用于使外部目标Tg成为位于工作装置110的作业范围外的状态的、液压挖掘机100与外部目标Tg的距离(检查距离)被预先设定。操作员以液压挖掘机100与外部目标Tg的距离接近检查距离的方式使液压挖掘机100行驶、停止。
此时，终端装置503显示用于辅助使液压挖掘机100相对于外部目标Tg向适当的位置行驶的确认画面(步骤S301)。
图21是示出在第四实施方式的终端装置显示的确认画面的例子的图。如图21所示，在确认画面中包含立体相机125的各相机的拍摄图像G11。拍摄图像G11是示出在立体相机125的拍摄按钮被按下之前，在各相机映现的瞬时图像的动态图像或逐帧图像。拍摄图像G11从液压挖掘机100的控制装置126发送。需要说明的是，在其他实施方式中，确认画面也可以不包含立体相机125的全部相机的拍摄图像G11。例如，确认画面可以包含由成对相机中的一方(例如，第一相机1251和第四相机1254)拍摄到的拍摄图像G11。另外，也可以是，控制装置126通过识别在由立体相机125的各相机拍摄到的拍摄图像G11内映出的外部目标Tg来进行立体计测，从而算出从立体相机125到外部目标Tg的距离，并向终端装置503发送该距离，由此终端装置503在确认画面上显示算出的距离。操作员通过参照显示于确认画面的距离，能够以立体相机125与外部目标Tg的距离成为预先设定的检查距离的方式使液压挖掘机100行驶。
操作员通过视觉辨认显示于确认画面的拍摄图像G11，并能够以外部目标Tg映现于全部的立体相机125的方式使液压挖掘机100行驶。然后，操作员能够在确认画面的全部拍摄图像G11中映现有外部目标Tg的位置，使液压挖掘机100停止(步骤S302)。
操作员操作输入装置650，并指示显示装置660的显示画面的切换。终端装置503的显示控制部611基于由基准站存储部631存储的多个GNSS基准站C的信息，向显示装置660输出从多个GNSS基准站C中选择一个GNSS基准站C的选择画面的显示信号(步骤S303)。图22是示出在第四实施方式的终端装置显示的选择画面的例子的图。如图22所示，在选择画面中包含列表G21，该列表G21表示出多个GNSS基准站C的位置、以及从GNSS基准站C的位置到外部目标Tg的图形中心的高度(图9的高度h)。
操作员操作输入装置650，从所显示的列表G21中选择用于参数检查的GNSS基准站C(步骤S304)。由此，终端装置503的基准站选择部612接受GNSS基准站C的选择。当基准站选择部612接受GNSS基准站C的选择时，指示发送部613将所选择的GNSS基准站C的信息发送到控制装置126(步骤S305)。此时，控制装置126或终端装置503判定所选择的GNSS基准站C与液压挖掘机100的距离是否处于用于参数检查的规定范围内。在所选择的GNSS基准站C与液压挖掘机100的距离处于规定范围内的情况下，控制装置126推进参数检查的处理。另一方面，在所选择的GNSS基准站C与液压挖掘机100的距离处于规定范围内的情况下，终端装置503向显示装置660输出显示指示操作员进行GNSS基准站C的再设定的画面的显示信号。
操作员以回转体120到达任意的位置例如图14所示的位置p101至p103的各个位置的方式，对操作装置1211进行操作并使回转体120回转。
操作员在使回转体120移动到位置p101至p103的各个位置时，对操作装置1211进行操作，并向立体相机125输出拍摄指示(步骤S306)。由此，控制装置126的拍摄数据取得部200针对各个位置(位置p101至p103)，取得由立体相机125的各相机拍摄到的图像，并求出该拍摄图像中的外部目标Tg的中心位置(步骤S307)。也就是，拍摄数据取得部200通过立体计测来确定外部目标Tg在车身坐标系中的位置。例如，拍摄数据取得部200使用参数存储部204所存储的外部参数(式(1)的矩阵Rcy、矩阵Rcp、矩阵Rcr及矩阵Tc)来确定外部目标Tg在相机坐标系中的位置，并使用车身参数(式(3)的矩阵Rmy、矩阵Rmp、矩阵Rmr及矩阵Tm)将该位置转换为外部目标Tg在车身坐标系中的位置。
需要说明的是，控制装置126每当求出外部目标Tg的中心位置时，就向终端装置503发送指示进行下一姿态的拍摄的画面的显示指示。另外，控制装置126在外部目标Tg的中心位置的算出失败的情况下，向终端装置503发送指示进行再次拍摄的画面的显示指示。
另外，外部目标位置取得部207基于在步骤S305中接收到的GNSS基准站C的信息、以及针对拍摄时的各个位置由转换参数算出部205算出的现场坐标系与车身坐标系之间的转换参数，取得外部目标Tg在车身坐标系中的位置(步骤S308)。在步骤S308中取得的外部目标Tg在车身坐标系中的位置是外部目标Tg的已知位置。
参数检查部210判定在步骤S307中立体计测出的外部目标Tg的位置与在步骤S308中取得的外部目标Tg的已知位置之差是否在容许误差范围内(步骤S309)。也就是，参数检查部210判定立体计测出的外部目标Tg的位置与外部目标Tg的已知位置的偏差是否在容许误差范围内。
立体计测出的外部目标Tg的位置与外部目标Tg的已知位置之差在容许误差范围内的情况下(步骤S309：是)，参数检查部210向终端装置503发送示出不需要校正参数的检查结果信息(步骤S310)。
立体计测出的外部目标Tg的位置与外部目标Tg的已知位置之差比容许误差范围大的情况下(步骤S309：否)，参数检查部210向终端装置503发送示出需要校正参数的检查结果信息(步骤S311)。
当终端装置503的检查结果接收部615从控制装置126接收到检查结果信息时，显示控制部611向显示装置660输出显示检查结果信息的检查结果画面的显示信号(步骤S312)。
当通过参数检查部210判定为需要校正时，第二校正部209一边使参数存储部204所存储的外部参数的俯仰角(式(1)中的θp)按微小角度变化，一边关于变化后的每个俯仰角θp，对在步骤S307中取得的由立体相机125中的成对相机拍摄到的立体图像进行立体计测，并算出立体图像的立体率。立体率是指在被立体计测的立体图像的多个像素中立体计测成功的像素所占的比例。具体而言，第二校正部209对于立体图像中的一方的图像的各像素，从存在于另一方的图像的对极线上的多个像素中搜索对应点，并通过使对应数量除以像素数而算出立体率。对应点的搜索的成功与否受到成对相机的俯仰角θp的偏差的较大影响。第二校正部209将参数存储部204所存储的俯仰角θp重写为在按微小角度变化后的俯仰角中能够得到最高立体率的俯仰角θp(步骤S313)。
接下来，第二校正部209基于在步骤S308中取得的外部目标Tg在车身坐标系中的已知位置、以及在步骤S307中立体计测出的外部目标Tg的位置，校正参数存储部204所存储的外部参数的偏航角θy(步骤S314)。即、第二校正部209以相机与外部目标Tg的距离之差成为最小的方式校正偏航角θy。偏航角θy是对从立体相机125到拍摄对象的距离(尺度)造成影响的参数。
然后，第二校正部209以通过计算得到的外部目标Tg的位置与在步骤S314中取得的位置一致的方式求出车身参数(构成上述式(3)的矩阵Rmy、Rmp、Rmr及Tm)(步骤S315)。例如，第二校正部209通过以下所示的处理来求出矩阵Rmy、Rmp、Rmr、Tm。首先，第二校正部209根据各姿态确定在用一个相机(例如第一相机1251)实际进行拍照得到的图像中外部目标Tg所映现的像素(第一像素)的位置。接下来，第二校正部209使用所选择的外部目标Tg的已知位置、拍摄时刻下的液压挖掘机100的位置及姿态信息、以及参数存储部204所存储的相对于一个相机的车身参数，并通过模拟对以各姿态在一个相机的像素上投影外部目标Tg的像素(第二像素)的位置进行运算并确定。然后，第二校正部209将实际进行拍照得到的外部目标Tg的第一像素的位置与通过模拟确定出的外部目标Tg的第二像素的位置进行比较，并以误差成为最小的方式进行收敛运算，由此校正车身参数。在该情况下，第二校正部209是第一像素取得部及第二像素取得部的一例。
第二校正部209判定步骤S313至步骤S315的校正处理的结果、算出的外部目标Tg的位置与在步骤S308中通过立体计测确定出的外部目标Tg的位置之差是否在容许误差范围内(步骤S316)。在算出的外部目标Tg的位置与在步骤S308中通过立体计测确定出的外部目标Tg的位置之差在容许误差范围内的情况下(步骤S316：是)，第二校正部209向终端装置503发送示出参数的校正成功的校正结果信息(步骤S317)。另一方面，在算出的外部目标Tg的位置与在步骤S313中确定出的外部目标Tg的位置之差超过容许误差范围的情况下(步骤S316：否)，第二校正部209向终端装置503发送示出参数的校正失败的校正结果信息(步骤S318)。
当终端装置503的校正结果接收部616从控制装置126接收到校正结果信息时，显示控制部611向显示装置660输出显示校正结果信息的校正结果画面的显示信号(步骤S319)。
这样，根据第四实施方式，操作员能够在每天的业务之前容易地检查是否需要立体相机125的校正。由此，能够适当地保持立体相机125的参数，并且防止操作员的作业效率的降低。
另外，根据第四实施方式，终端装置503进行参数检查及校正处理的辅助。由此，操作员能够容易进行参数检查及校正处理。
需要说明的是，第四实施方式的控制装置126在外部参数的俯仰角及偏航角的校正之后进行车身参数(矩阵Rmy、Rmp、Rmr、Tm)的校正，但不限于此。例如，其他实施方式的控制装置126可以仅进行俯仰角及偏航角的校正，或者可以仅进行车身参数校正，也可以在车身参数校正之后，进行俯仰角及偏航角的校正。另外，其他实施方式的控制装置126也可以对立体相机125所具备的各相机进行车身参数的校正。
需要说明的是，第四实施方式的控制装置126通过液压挖掘机100的回转，针对立体相机125与外部目标Tg的三个相对位置，按每个相对位置取得拍摄图像，但不限于此。例如，在其他实施方式中，也可以针对一个、两个或四个以上的相对位置取得拍摄图像。
需要说明的是，第四实施方式的控制装置126在进行了第一至第三中任一个实施方式的校正处理之后，进行立体相机的参数检查及校正，但不限于此。例如，其他实施方式的控制装置126也可以进行上述的立体相机的参数检查及校正来代替第一至第三中任一个实施方式的校正处理。在该情况下，控制装置126也可以不一定具备第一校正部203。
需要说明的是，在第四实施方式中，如图14所示，通过改变液压挖掘机100的拍摄位置或姿态来得到多个外部目标Tg的位置，但不限于此。例如，在其他实施方式中，如图8所示，液压挖掘机100也可以通过一个拍摄位置及姿态对多个外部目标Tg进行拍照，从而得到多个外部目标Tg的位置。在该情况下，需要已知图8所示的各外部目标Tg的位置。
需要说明的是，在第四实施方式中，控制装置126进行了步骤S307、步骤S309、步骤S313～步骤S315的处理，但不限于此。例如，这些处理也可以由终端装置503、后述的服务器501进行。另外，也可以将控制装置126中的各结构的一部分或全部设置于终端装置503或后述的服务器501，从而在终端装置503或服务器501中进行一部分或全部的处理。另外，控制装置126本身也可以设置于终端装置503内或服务器501内。
需要说明的是，在第四实施方式中，通信部211向终端装置503输出参数检查部210的检查结果，但不限于此。例如，在其他实施方式中，也可以是，通信部211向第二校正部209输出检查结果，接受到该检查结果的第二校正部209自动地校正外部参数或车身参数。也就是，在其他实施方式中，终端装置503也可以不一定显示检查结果。需要说明的是，在后述的服务器501进行步骤S323～S326的校正处理的情况下，也可以是，通信部211向服务器装置501输出检查结果，接受该检查结果的服务器装置501校正外部参数或车身参数。
<其他实施方式>
以上，参照附图对一实施方式进行了详细说明，但具体的结构并不限于上述实施方式，可以进行各种设计变更等。
例如，根据第一实施方式，在拍摄工作装置目标Tm之后拍摄外部目标Tg，但不限于此。例如，其他实施方式的控制装置126也可以在拍摄外部目标Tg之后拍摄工作装置目标Tm，也可以通过在一个图像映射工作装置目标Tm和外部目标Tg这两者来同时拍摄工作装置目标Tm和外部目标Tg。
另外，在上述实施方式中，对作业机械是液压挖掘机100的情况进行了说明，但不限于此。例如，在其他实施方式中，也可以是由具备立体相机125的轮式装载机、推土机来进行上述校正。
另外，在上述实施方式中，对由控制装置126求出式(1)所示的参数(所谓的外部参数)及式(3)所示的参数的情况进行了说明，但不限于此。例如，控制装置126也可以通过使各相机的内部参数变化来进行立体相机125的校正。作为内部参数的例子，可以举出相机的光学系统的焦点距离、相机的光学系统的光轴与图像传感器的拍摄面的交点的位置(x，y)、相机透镜的半径方向的失真系数。
另外，在上述实施方式中，已知点的外部目标Tg设置于施工现场的GNSS基准站C上，但不限于此。例如，在其他实施方式中，通过将外部目标Tg设置于GNSS天线的附近，使外部目标Tg在现场坐标系中的位置已知。另外，例如，也可以将外部目标Tg设置于其他液压挖掘机100，由该其他液压挖掘机100将外部目标Tg的位置转换为现场坐标系，由此使外部目标Tg在现场坐标系中的位置已知。另外，外部目标Tg不一定必须设置于施工现场，例如可以设置于工厂等，也可以设置于屋内。
另外，在上述实施方式中，控制装置126通过将相机坐标系及现场坐标系的位置转换为车身坐标系，从而确定立体相机125与工作装置目标Tm或外部目标Tg的位置关系，但不限于此。例如，在其他实施方式中，也可以通过将车身坐标系的位置转换为相机坐标系或现场坐标系，从而确定立体相机125与工作装置目标Tm或外部目标Tg的位置关系。
需要说明的是，在第一、第二实施方式中，控制装置126对已知点的外部目标Tg进行一次拍摄，并基于拍摄图像、以及此时的立体相机125与已知点的外部目标Tg的位置关系来更新立体相机125的参数，但不限于此。例如，在其他实施方式中，控制装置126也可以对已知点的外部目标Tg进行多次拍摄，并基于各拍摄图像、以及各个拍摄时机下的立体相机125与已知点的外部目标Tg的位置关系来更新立体相机125的参数。在该情况下，能够实现将图12所示的流程图的步骤S6至步骤S11的处理、或图13所示的流程图的步骤S104至步骤S109的处理置换为图15所示的流程图的步骤S201至步骤S206。通过对已知点的外部目标Tg进行多次拍摄，能够减小在立体相机125与已知点的外部目标Tg之间的位置关系的算出结果中包含的由GNSS、IMU的误差带来的影响，能够更高精度地求出立体相机125的参数。
图22是其他实施方式的校正系统的结构的概要图。
在上述实施方式中，控制装置126单独进行立体相机125的校正，但不限于此。例如，在其他实施方式中，在校正系统500具备液压挖掘机100、服务器501、通信线路502、终端装置503的情况下，控制装置126也可以与其他装置协同动作来进行立体相机125的校正。在图22所示的例子中，控制装置126能够经由通信线路502与设置于液压挖掘机100的远程的服务器501及终端装置503进行数据通信。作为服务器501的例子，可以举出计算机系统。作为终端装置503的例子，可以举出个人计算机、便携终端。作为通信线路502的例子，可以举出因特网、局域网、便携电話通信网以及卫星通信网。另外，终端装置503也可以设置于未图示的液压挖掘机100的远程操作室。
在这样的实施方式中，服务器501也可以具有控制装置126的一部分或全部的功能。即，服务器501具有拍摄数据取得部200、作业机械信息存储部201、工作装置位置确定部202、第一校正部203、参数存储部204、转换参数算出部205、外部目标位置算出部206、外部目标位置取得部207、外部目标位置转换部208以及第二校正部209中的至少一个。在该情况下，经由通信线路502向服务器501供给由位置方位运算器123、倾斜检测器124、立体相机125及工作装置位置检测器117检测出的数据。例如，服务器501通过从控制装置126接收拍摄图像、现场坐标系中的各目标的位置，并进行基于这些位置的收敛计算，从而算出相机的参数，并向控制装置126发送算出的参数。
另外，在这样的实施方式中，终端装置503也可以具有控制装置126的一部分或全部的功能。即，终端装置503具有拍摄数据取得部200、作业机械信息存储部201、工作装置位置确定部202、第一校正部203、参数存储部204、转换参数算出部205、外部目标位置算出部206、外部目标位置取得部207、外部目标位置转换部208以及第二校正部209中的至少一个。
工业实用性
根据上述方式，能够对于比工作装置的作业范围远的区域中的拍摄对象，以可以高精度地进行计算的方式校正拍摄装置。
附图标记说明：
100 液压挖掘机
110 工作装置
120 回转体
125 立体相机
1251 第一相机
1252 第二相机
1253 第三相机
1254 第四相机
126 控制装置
200 拍摄数据取得部
201 作业机械信息存储部
202 工作装置位置确定部
203 第一校正部
204 参数存储部
205 转换参数算出部
206 外部目标位置算出部
207 外部目标位置取得部
208 外部目标位置转换部
209 第二校正部
Tm 工作装置目标
Tg 外部目标。

Claims (18)

1.一种拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备：
拍摄数据取得部，其取得由至少一个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少一个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于所述工作装置的作业范围外的已知位置；
外部目标位置取得部，其取得所述已知外部目标的位置；以及
校正部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置和由所述拍摄数据取得部取得的所述已知外部目标的拍摄数据，校正所述拍摄装置。
2.根据权利要求1所述的拍摄装置的校正装置，其中，
所述拍摄数据取得部从至少一对拍摄装置取得所述已知外部目标的拍摄数据，
所述校正部基于由所述外部目标位置取得部取得的所述已知外部目标的位置、以及所述已知外部目标的位置来校正所述拍摄装置，所述已知外部目标的位置是基于由所述拍摄数据取得部取得的所述拍摄数据而立体计测出的位置。
3.根据权利要求2所述的拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备：
第一位置关系确定部，其基于所述已知外部目标的立体计测结果，确定作为所述拍摄装置与所述已知外部目标之间的位置关系的第一位置关系；以及
第二位置关系确定部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置，确定作为所述拍摄装置与所述已知外部目标之间的位置关系的第二位置关系，
所述校正部基于所述第一位置关系和所述第二位置关系，校正所述拍摄装置。
4.根据权利要求3所述的拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备工作装置位置确定部，所述工作装置位置确定部确定所述工作装置的位置，并算出设置于所述工作装置的工作装置目标的位置，
所述拍摄数据取得部取得由所述拍摄装置拍摄到的所述工作装置目标的拍摄数据，
所述校正部进行基于由所述拍摄数据取得部取得的所述工作装置目标的拍摄数据和由所述工作装置位置确定部算出的所述工作装置目标的位置的所述拍摄装置的校正、以及进行基于所述第一位置关系和所述第二位置关系的所述拍摄装置的校正。
5.根据权利要求1所述的拍摄装置的校正装置，其中，
所述校正部基于由所述外部目标位置取得部取得的所述已知外部目标的位置、以及由所述拍摄数据取得部取得的作为拍摄数据的图像中的所述已知外部目标的位置，校正所述拍摄装置。
6.根据权利要求5所述的拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备工作装置位置确定部，所述工作装置位置确定部确定所述工作装置的位置，并算出设置于所述工作装置的工作装置目标的位置，
所述拍摄数据取得部取得由所述拍摄装置拍摄到的所述工作装置目标的拍摄数据，
所述校正部基于由所述拍摄数据取得部取得的所述工作装置目标的拍摄数据、由所述工作装置位置确定部算出的所述工作装置目标的位置、由所述外部目标位置取得部取得的所述已知外部目标的位置、以及由所述拍摄装置拍摄到的图像中的所述已知外部目标的位置，校正所述拍摄装置。
7.根据权利要求1～6中任一项所述的拍摄装置的校正装置，其中，
所述拍摄数据取得部取得由所述拍摄装置拍摄到的设置于未知位置的未知外部目标的拍摄数据，
所述校正部使用由所述拍摄数据取得部取得的作为拍摄数据的图像中的所述未知外部目标的位置，校正所述拍摄装置。
8.根据权利要求1～7中任一项所述的拍摄装置的校正装置，其中，
所述拍摄数据取得部取得由所述拍摄装置拍摄到的多个已知外部目标的拍摄数据，
所述外部目标位置取得部取得所述多个已知外部目标各自的位置，
所述校正部基于由所述外部目标位置取得部取得的所述多个已知外部目标的位置和由所述拍摄数据取得部取得的所述多个已知外部目标的拍摄数据，校正所述拍摄装置。
9.根据权利要求1～8中任一项所述的拍摄装置的校正装置，其中，
所述拍摄数据取得部针对所述拍摄装置与所述已知外部目标的每个相对位置取得拍摄数据，
所述外部目标位置取得部针对每个所述相对位置取得所述已知外部目标的位置，
所述校正部基于由所述外部目标位置取得部取得的每个所述相对位置的已知外部目标的位置和由所述拍摄数据取得部取得的每个所述相对位置的所述已知外部目标的拍摄数据，校正所述拍摄装置。
10.根据权利要求1～9中任一项所述的拍摄装置的校正装置，其中，
所述拍摄数据取得部取得在所述工作装置的作业范围内的已知位置设置的已知点目标的拍摄数据，
所述校正部基于所述已知外部目标及所述已知点目标的位置、以及由所述拍摄装置拍摄的所述已知外部目标及所述已知点目标的拍摄数据，校正所述拍摄装置。
11.根据权利要求1～10中任一项所述的拍摄装置的校正装置，其中，
所述校正部校正规定所述拍摄装置在所述作业机械中的设置位置及姿态的参数。
12.根据权利要求1～11中任一项所述的拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备：
参数检查部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置和由所述拍摄数据取得部取得的所述已知外部目标的拍摄数据，判定是否需要所述拍摄装置的校正处理；以及
输出部，其输出是否需要所述校正处理的判定结果，
所述校正部在接收到来自所述参数检查部的监视结果、需要所述拍摄装置的校正的旨意的判定结果的情况下，校正所述拍摄装置。
13.根据权利要求1～12中任一项所述的拍摄装置的校正装置，其中，
所述校正部基于由所述外部目标位置取得部取得的多个所述已知外部目标的位置和由所述拍摄数据取得部取得的多个所述已知外部目标的拍摄数据，校正所述拍摄装置的车身参数。
14.根据权利要求1～13中任一项所述的拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备：
第一像素取得部，其取得第一像素的位置，所述第一像素是在由所述拍摄装置拍摄到的拍摄数据中映现有多个已知外部目标的像素；以及
第二像素取得部，其基于由所述外部目标位置取得部取得的所述多个已知外部目标的位置、以及所述拍摄装置的车身参数，对第二像素的位置进行运算，所述第二像素是在所述拍摄装置的像素上投影所述多个已知外部目标的像素，
所述校正部基于所述第一像素的位置和所述第二像素的位置，校正所述车身参数。
15.一种拍摄装置的校正装置，其中，
所述拍摄装置的校正装置具备：
拍摄数据取得部，其取得由至少一个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少一个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于所述工作装置的作业范围外的已知位置；
外部目标位置取得部，其取得所述已知外部目标的位置；
第一像素取得部，其取得第一像素的位置，所述第一像素是在由所述拍摄装置拍摄到的拍摄数据中映现有多个所述已知外部目标的像素；
第二像素取得部，其基于由所述外部目标位置取得部取得的所述多个已知外部目标的位置、以及所述拍摄装置的车身参数，取得第二像素的位置，所述第二像素是在所述拍摄装置的像素上投影所述多个已知外部目标的像素；以及
校正部，其基于所述第一像素的位置和所述第二像素的位置，校正所述车身参数。
16.一种作业机械，其中，
所述作业机械具备：
所述工作装置；以及
权利要求1～15中任一项所述的拍摄装置的校正装置。
17.一种拍摄装置的校正方法，其中，
所述拍摄装置的校正方法包括以下步骤：
取得由至少一个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少一个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于所述工作装置的作业范围外的已知位置；
取得所述已知外部目标的位置；以及
基于取得的所述已知外部目标的位置、以及由所述拍摄装置拍摄的所述已知外部目标的拍摄数据，校正所述拍摄装置。
18.一种拍摄装置的监视装置，其中，
所述拍摄装置的监视装置具备：
拍摄数据取得部，其取得由至少一个拍摄装置拍摄到的已知外部目标的拍摄数据，所述至少一个拍摄装置设置于具备工作装置的作业机械，所述已知外部目标设置于已知位置；
外部目标位置取得部，其取得所述已知外部目标的位置；
参数检查部，其基于由所述外部目标位置取得部取得的所述已知外部目标的位置、以及由所述拍摄数据取得部取得的所述已知外部目标的拍摄数据，判定与所述拍摄装置的立体计测有关的参数是否适当；以及
输出部，其输出所述判定的结果。
CN201880094869.3A 2018-06-29 2018-06-29 拍摄装置的校正装置、监视装置、作业机械及校正方法 Active CN112334733B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024832 WO2020003497A1 (ja) 2018-06-29 2018-06-29 撮像装置の校正装置、監視装置、作業機械および校正方法

Publications (2)

Publication Number Publication Date
CN112334733A true CN112334733A (zh) 2021-02-05
CN112334733B CN112334733B (zh) 2022-09-27

Family

ID=68986814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094869.3A Active CN112334733B (zh) 2018-06-29 2018-06-29 拍摄装置的校正装置、监视装置、作业机械及校正方法

Country Status (5)

Country Link
US (1) US11508091B2 (zh)
JP (1) JP7203105B2 (zh)
CN (1) CN112334733B (zh)
DE (1) DE112018007660T5 (zh)
WO (1) WO2020003497A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278184A (zh) * 2022-07-18 2022-11-01 峰米(重庆)创新科技有限公司 投影画面校正方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN109360243B (zh) * 2018-09-28 2022-08-19 安徽爱观视觉科技有限公司 一种多自由度可动视觉系统的标定方法
JP2022001836A (ja) * 2020-06-19 2022-01-06 株式会社小松製作所 校正装置および校正方法
WO2022160266A1 (zh) * 2021-01-29 2022-08-04 深圳市锐明技术股份有限公司 一种车载摄像头的标定方法、装置及终端设备
JP7209755B2 (ja) * 2021-02-10 2023-01-20 三菱ロジスネクスト株式会社 キャリブレーション方法、プログラム、及びキャリブレーション装置
DE102021202993A1 (de) 2021-03-26 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer Kalibrierungsgüte eines optischen Sensors

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2881193B1 (ja) * 1998-03-02 1999-04-12 防衛庁技術研究本部長 ３次元物体認識装置および方法
US20040207831A1 (en) * 2003-04-15 2004-10-21 Honda Motor Co., Ltd. Ranging apparatus, ranging method, and ranging program
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
US20140375693A1 (en) * 2004-01-14 2014-12-25 Hexagon Metrology, Inc. Transprojection of geometry data
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
US20150098079A1 (en) * 2013-10-09 2015-04-09 Hilti Aktiengesellschaft System and method for camera based position and orientation measurement
WO2016047808A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 撮像装置の校正システム、作業機械及び撮像装置の校正方法
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
CN105765963A (zh) * 2013-11-29 2016-07-13 歌乐株式会社 照相机校正装置
WO2016148309A1 (ja) * 2016-03-29 2016-09-22 株式会社小松製作所 校正システム、作業機械及び校正方法
KR20170009809A (ko) * 2016-12-28 2017-01-25 광운대학교 산학협력단 영상에디팅을 수행하는 영상촬영장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004106856A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP2014052335A (ja) 2012-09-10 2014-03-20 Ricoh Co Ltd 画像処理装置及びステレオカメラ装置
CN104838072B (zh) * 2012-09-14 2017-08-18 3D图像自动控制控股有限公司 取料机三维体积速率控制装置及其控制方法
US10528826B2 (en) * 2016-05-06 2020-01-07 GM Global Technology Operations LLC Vehicle guidance system
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
JP6966218B2 (ja) 2017-04-27 2021-11-10 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2881193B1 (ja) * 1998-03-02 1999-04-12 防衛庁技術研究本部長 ３次元物体認識装置および方法
US20040207831A1 (en) * 2003-04-15 2004-10-21 Honda Motor Co., Ltd. Ranging apparatus, ranging method, and ranging program
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
US20140375693A1 (en) * 2004-01-14 2014-12-25 Hexagon Metrology, Inc. Transprojection of geometry data
WO2012022231A1 (zh) * 2010-08-20 2012-02-23 北京航空航天大学 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
US20150098079A1 (en) * 2013-10-09 2015-04-09 Hilti Aktiengesellschaft System and method for camera based position and orientation measurement
CN105765963A (zh) * 2013-11-29 2016-07-13 歌乐株式会社 照相机校正装置
WO2016047808A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 撮像装置の校正システム、作業機械及び撮像装置の校正方法
WO2016047807A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 校正システム、作業機械及び校正方法
WO2016148309A1 (ja) * 2016-03-29 2016-09-22 株式会社小松製作所 校正システム、作業機械及び校正方法
CN106029994A (zh) * 2016-03-29 2016-10-12 株式会社小松制作所 校正系统、作业机械和校正方法
KR20170009809A (ko) * 2016-12-28 2017-01-25 광운대학교 산학협력단 영상에디팅을 수행하는 영상촬영장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278184A (zh) * 2022-07-18 2022-11-01 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置

Also Published As

Publication number Publication date
JP7203105B2 (ja) 2023-01-12
CN112334733B (zh) 2022-09-27
JPWO2020003497A1 (ja) 2021-07-15
WO2020003497A1 (ja) 2020-01-02
US20210209800A1 (en) 2021-07-08
US11508091B2 (en) 2022-11-22
DE112018007660T5 (de) 2021-03-18

Similar Documents

Publication Publication Date Title
CN112334733B (zh) 拍摄装置的校正装置、监视装置、作业机械及校正方法
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
US9322652B2 (en) Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
CN106029994B (zh) 校正系统、作业机械和校正方法
CN108700402B (zh) 位置测量系统、作业机械及位置测量方法
EP2247921B1 (en) Determining coordinates of a target in relation to a survey instruments having a camera
EP1607718B1 (en) Surveying instrument and electronic storage medium
JP5150310B2 (ja) 地理データ収集装置
JP4944462B2 (ja) 地理データ収集装置
EP3855217B1 (en) Coordinate conversion system and work machine
JP5134784B2 (ja) 空中写真測量方法
KR20200064542A (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
JP6930840B2 (ja) 測量システム
KR101833795B1 (ko) 왜곡된 항공영상의 정사영상 처리 장치
JP2003064725A (ja) 無人化機械土工システム
JP3808833B2 (ja) 空中写真測量方法
CN106840137B (zh) 一种四点式掘进机自动定位定向方法
JP2002010297A (ja) ステレオ画像撮影システム
WO2020241572A1 (ja) マップ生成システム及びマップ生成方法
JP4276360B2 (ja) ステレオ画像撮影用システム
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
JP2009042175A (ja) 施工位置測定システム及び丁張りレスシステム
JP4430789B2 (ja) ステレオ画像撮影用のシステム
KR102642144B1 (ko) 위치정보를 촬영이미지에 합성하여 보정할 수 있는 영상처리시스템
US20240112327A1 (en) Bar arrangement inspection system and bar arrangement inspection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant