CN109716058A - 测量系统、作业机械及测量方法 - Google Patents

Abstract

本发明的测量系统包括：拍摄部，其安装于作业机械的回转体，对所述作业机械的周围的形状进行拍摄；位置检测部，其求取所述回转体的位置；拍摄部位置运算部，其运算在所述回转体的回转动作过程中所述拍摄部进行拍摄时的所述拍摄部的位置；以及三维位置运算部，其根据由所述拍摄部位置运算部运算出的所述拍摄部的位置，求取所述拍摄时的所述作业机械的周围的三维位置。

Description

测量系统、作业机械及测量方法

技术领域

本发明涉及对作业机械的周围进行测量的测量系统、作业机械以及测量方法。

背景技术

以往存在具有拍摄装置的作业机械。在专利文献1中，记载有如下技术：基于存储于存储部的施工计划数据和立体相机的位置信息来生成施工计划图像数据，并将施工计划图像数据与通过立体相机拍摄的现状图像数据重叠，将重叠后的合成图像以三维的方式显示在三维显示装置上。

专利文献1：日本特开2013-036243号公报

发明内容

存在想要广范围地测量作业机械的周围的形状的要求。关于广范围地测量作业机械的周围的形状，在专利文献1中既没有公开也没有启示，存在改善的余地。

本发明的目的在于广范围地测量作业机械的周围的形状。

本发明的第一方面提供一种测量系统，其特征在于，包括：拍摄部，其安装于作业机械的回转体，对上述作业机械的周围的形状进行拍摄；位置检测部，其求取上述回转体的位置；拍摄部位置运算部，其运算在上述回转体的回转动作过程中上述拍摄部进行拍摄时的上述拍摄部的位置；以及三维位置运算部，其根据由上述拍摄部位置运算部运算出的上述拍摄部的位置，求取上述拍摄时的上述作业机械的周围的三维位置。

本发明的第二方面提供一种测量系统，根据第一方面，包括：共同部分提取部，其求取在上述作业机械的回转动作过程中由上述拍摄部拍摄的多个二维图像间的共同部分，拍摄部位置运算部运算在上述拍摄部进行拍摄时的上述拍摄部的位置。

本发明的第三方面提供一种测量系统，根据第一方面或第二方面，上述拍摄部位置运算部为了运算拍摄时的上述拍摄部的位置而运算拍摄时的上述回转体的回转角度，从而运算上述拍摄部的位置。

本发明的第四方面提供一种测量系统，根据第一方面至第三方面中的任一方面，上述拍摄部位置运算部利用在上述回转体进行回转动作之前的上述回转体的位置、或在上述回转体进行回转动作之后的上述回转体的位置，对在上述拍摄部进行拍摄时的上述拍摄部的位置进行校正。

本发明的第五方面提供一种测量系统，根据第三方面或第四方面，上述拍摄部位置运算部利用在上述回转体进行回转动作之前的上述回转体的回转角度、以及在上述回转体进行回转动作之后的上述回转体的回转角度，对上述回转体的回转动作过程中的回转角度进行校正。

本发明的第六方面提供一种测量系统，根据第二方面至第五方面中的任一方面，上述拍摄部位置运算部利用多个共同部分通过最小平方法运算上述拍摄部的位置。

本发明的第七方面提供一种测量系统，根据第一方面至第六方面中的任一方面，上述三维位置运算部对在上述回转体的回转动作过程中获得的多个上述作业机械的周围的三维位置进行结合。

本发明的第八方面提供一种作业机械，其包括：第一方面至第七方面中的任一方面涉及的测量系统。

本发明的第九方面提供一种测量方法，其包括：对在安装于作业机械的回转体的回转动作过程中的、在安装于上述回转体的拍摄部进行拍摄时的上述拍摄部的位置进行运算的步骤；以及根据运算出的上述拍摄部的位置，求取在上述拍摄时的上述作业机械的周围的三维位置的步骤。

根据本发明，能够广范围地测量作业机械的周围的形状。

附图说明

图1是表示实施方式涉及的液压挖掘机的立体图。

图2是实施方式涉及的液压挖掘机的驾驶席附近的立体图。

图3是表示实施方式涉及的测量系统的图。

图4是用于说明对液压挖掘机的周围连续地进行测量的示例的俯视图。

图5是用于说明实施方式涉及的测量系统在回转体的回转动作过程中对液压挖掘机的周围进行三维测量的情况的图。

图6是用于说明拍摄装置坐标系根据回转体的回转动作而移动的情况的图。

图7是表示在回转体的回转动作过程中拍摄的图像的一个示例的图。

图8是用于说明对在回转体的回转动作过程中拍摄并求出了三维位置的多个图像进行结合的情况的图。

图9是用于说明对回转角度进行校正的情况的图。

图10是表示实施方式涉及的测量方法的步骤的一个示例的流程图。

图11是表示对在回转体的回转动作过程中和回转动作的前后获得的多个距离图像进行结合的示例的图。

图12是用于说明实施方式涉及的测量系统在液压挖掘机的行走动作过程中对液压挖掘机的周围进行三维测量的情况的图。

具体实施方式

下面参照附图，对用于实施本发明的方式(实施方式)进行详细说明。

液压挖掘机的整体结构

图1是表示实施方式涉及的液压挖掘机1的立体图。图2是实施方式涉及的液压挖掘机1的驾驶席附近的立体图。作为作业机械的一个示例的液压挖掘机1具有车身1B和作业机2。车身1B具有回转体3、驾驶室4和行走体5。回转体3安装于行走体5，能够以回转中心轴Zr为中心回转。回转体3收纳有液压泵及发动机等装置。

回转体3安装有作业机2而进行回转动作。在回转体3的上部安装有扶手9。扶手9上安装有天线25F、25S。天线25F、25S是用于GNSS(Global Navigation Satellite Systems，GNSS是指全球导航卫星系统)用天线。天线25F、25S沿着与车身坐标系(Xm，Ym，Zm)的Ym轴平行的方向，相隔开规定距离地配置。天线25F、25S接收GNSS电波，并输出与所接收的GNSS电波对应的信号。天线25F、25S也可以是GPS(Global Positioning System，全球定位系统)用天线。

驾驶室4载置于回转体3的前部。驾驶室4的顶棚安装有通信用天线25A。行走体5具有履带5a、5b。液压挖掘机1通过履带5a、5b的旋转而行走。

作业机2安装于车身1B的前部。作业机2具有动臂6、斗杆7、作为作业部件的铲斗8、动臂缸10、斗杆缸11和铲斗缸12。在实施方式中，车身1B的前方是指，从图2所示的驾驶席4S的椅背4SS朝向操作装置35的方向。车身1B的后方是指，从操作装置35朝向驾驶席4S的椅背4SS的方向。车身1B的前部是指，车身1B的前方侧的部分，是与车身1B的配重体WT相反侧的部分。操作装置35是用于操作作业机2和回转体3的装置，具有右侧杆35R和左侧杆35L。

回转体3具有作为位置检测部的一个示例的位置检测装置23、以及作为姿态检测部的一个示例的IMU(Inertial Measurement Unit，惯性测量装置)24。位置检测装置23求取液压挖掘机1的位置，在本实施方式中求取的是回转体3的位置。详细而言，位置检测装置23利用从天线25F、25S获取的信号，检测并输出在全局坐标系(Xg，Yg，Zg)中的天线25F、25S的当前位置及回转体3的方位。回转体3的方位表示在全局坐标系中的回转体3的朝向。回转体3的朝向，例如能够以绕全局坐标系的Zg轴的、回转体3的前后方向的朝向来表示。方位角是指，回转体3的前后方向的基准轴绕全局坐标系的Zg轴的旋转角。回转体3的方位能够以方位角来表示。如上所述，液压挖掘机1的方位角θd能够由位置检测装置23或IMU24任一方求取，使用哪一方求取均可。

IMU24求取液压挖掘机1的姿态，在本实施方式中求取的是回转体3的姿态。液压挖掘机1的姿态可由侧倾角θr、俯仰角θp和方位角θd表示。根据作用于液压挖掘机1的加速度和角速度，能够获得液压挖掘机1的侧倾角θr、俯仰角θp和方位角θd。IMU24检测作用于自身的加速度和角速度、即作用于液压挖掘机1的加速度和角速度，由此求出液压挖掘机1的侧倾角θr、俯仰角θp和方位角θd并输出。IMU24如此求取液压挖掘机1的姿态。也可以是，利用IMU24所检测出的加速度和角速度，由运算装置求取液压挖掘机1的侧倾角θr、俯仰角θp和方位角θd。这种情况下，IMU24与上述运算装置构成姿态检测装置。液压挖掘机1的侧倾角θr、俯仰角θp和方位角θd也可以通过IMU24以外的装置、例如陀螺仪等来求取。

拍摄部(装置)

如图2所示，液压挖掘机1在驾驶室4内具有多个作为拍摄部的拍摄装置30a、30b、30c、30d。以下，在不区别多个拍摄装置30a、30b、30c、30d的情况下，可称为拍摄装置30。多个拍摄装置30安装在回转体3上，对液压挖掘机1的周围的形状进行拍摄，并输出形状的信息、即形状信息。

多个拍摄装置30中的拍摄装置30a和拍摄装置30c配置于作业机2侧。虽然不限定拍摄装置30的种类，但是在实施方式中，例如使用具备CCD(Couple Charged Device，电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器的拍摄装置。

如图2所示，拍摄装置30a与拍摄装置30b相隔开规定间隔且朝向相同方向或不同方向地配置于驾驶室4内。拍摄装置30c与拍摄装置30d相隔开规定间隔且朝向相同方向或不同方向地配置于驾驶室4内。将多个拍摄装置30a、30b、30c、30d中的两个组合而构成立体相机。在实施方式中，构成由拍摄装置30a、30b组合而成的立体相机和由拍摄装置30c、30d组合而成的立体相机。

在实施方式中，拍摄装置30a和拍摄装置30b朝向上方，拍摄装置30c和拍摄装置30d朝向下方。至少拍摄装置30a和拍摄装置30c朝向液压挖掘机1的正面，在实施方式中朝向回转体3的正面。拍摄装置30b和拍摄装置30d也可以配置成稍微朝向作业机2、即稍微朝向拍摄装置30a和拍摄装置30c侧。

在实施方式中，液压挖掘机1具有四个拍摄装置30，但是液压挖掘机1具有的拍摄装置30的数量至少为两个、即，至少有一对即可，并不限于四个。这是因为，液压挖掘机1中由至少一对拍摄装置30构成立体相机，对施工对象进行立体拍摄。

多个拍摄装置30a、30b、30c、30d配置于驾驶室4内的前上方。上方是指，与液压挖掘机1具有的履带5a、5b的接地面正交且远离接地面的方向。履带5a、5b的接地面是指，履带5a、5b中的至少一方的接地部分的、由不在同一直线上的至少三个点确定的平面。下方是指，上方的相反方向，即与履带5a、5b的接地面正交且接近接地面的方向。

多个拍摄装置30a、30b、30c、30d对液压挖掘机1的周围，详细而言，对存在于车身1B的前方的施工对象进行立体拍摄。施工对象例如包括液压挖掘机1将要施工的部分、施工中的部分和施工后的部分。

多个拍摄装置30a、30b、30c、30d从液压挖掘机1的规定位置、在实施方式中为从驾驶室4内的前上方，对施工对象进行检测。在实施方式中，利用通过至少一对拍摄装置30进行的立体拍摄的结果，对施工对象进行三维测量。配置多个拍摄装置30a、30b、30c、30d的位置并不限于驾驶室4内的前上方。

多个拍摄装置30a、30b、30c、30d中，例如将拍摄装置30c作为基准。多个拍摄装置30a、30b、30c、30d这四个分别具有坐标系。可将这些坐标系称为拍摄装置坐标系。图2中，仅示出作为基准的拍摄装置30c的拍摄装置坐标系(Xs，Ys，Zs)。拍摄装置坐标系的原点，例如是各拍摄装置30a、30b、30c、30d的中心。

在实施方式中，各拍摄装置30a、30b、30c、30d的拍摄范围比液压挖掘机1的作业机2能够施工的范围大。由此，各拍摄装置30a、30b、30c、30d能够可靠地对作业机2可挖掘的范围内的施工对象进行立体拍摄。

上述的车身坐标系(Xm，Ym，Zm)是以固定在车身1B的、在实施方式中为固定在回转体3的原点为基准的坐标系。在实施方式中，车身坐标系(Xm，Ym，Zm)的原点，例如是回转体3的回转支承(swing circle)的中心。回转支承的中心位于回转体3的回转中心轴Zr上。车身坐标系(Xm，Ym，Zm)的Zm轴是成为回转体3的回转中心轴Zr的轴，Xm轴是沿回转体3的前后方向延伸、且与Zm轴正交的轴。Xm轴是在回转体3的前后方向上的基准轴。Ym轴是与Zm轴及Xm轴正交且沿回转体3的宽度方向延伸的轴。车身坐标系不限于实施方式的示例。上述的全局坐标系(Xg，Yg，Zg)是通过GNSS测量的坐标系，是以固定在地球的原点为基准的坐标系。

测量系统

图3是表示实施方式涉及的测量系统50的图。图3所示的测量系统50的装置结构为一个示例，而并不限于实施方式的装置结构。测量系统50设置于图1所示的液压挖掘机1的车身1B，在实施方式中，设置于回转体3。测量系统50包括作为检测装置的多个拍摄装置30a、30b、30c、30d和处理装置40。在实施方式中，测量系统50还具有位置检测装置23、IMU24以及输入装置32，不过，至少具有多个拍摄装置30a、30b、30c、30d和处理装置40即可。

处理装置40具有处理部41、存储部42和输入输出部43。处理部41例如由CPU(Central Processing Unit，中央处理单元)这样的处理器和存储器的组合而实现。处理装置40实现实施方式涉及的测量方法。此时，处理部41读取并执行存储部42中存储的计算机程序。该计算机程序用于使处理部41执行实施方式涉及的测量方法。

处理部41具有共同部分提取部41A、移动量运算部41B、车身状态运算部41C和三维位置运算部41D。在液压挖掘机1的动作过程中、在本实施方式中为在回转体3的回转动作过程中，在拍摄装置30进行多次拍摄后，共同部分提取部41A求取通过拍摄装置30获得的多个二维图像间的共同部分。“液压挖掘机1的动作”中，包括液压挖掘机1的回转体3的回转动作(回转)。在回转体3的回转动作过程中，共同部分提取部41A从至少一个拍摄装置30在回转体3的回转方向上的不同位置拍摄出的多个二维图像中，求取共同部分。

移动量运算部41B根据所得到的共同部分求取回转体3的回转角度。车身状态运算部41C根据所得到的回转角度、在回转体3进行回转之前处于停止状态时由位置检测装置23求出的液压挖掘机1的位置、以及在回转体3进行回转之前处于停止状态时由IMU24求出的液压挖掘机1的姿态，求取回转体3的回转动作过程中的液压挖掘机1的位置和姿态。三维位置运算部41D利用所得到的液压挖掘机1的位置和姿态、以及至少一对拍摄装置30在回转体3的回转方向上的多个位置拍摄出的图像，求取液压挖掘机1的周围的三维位置。移动量运算部41B和车身状态运算部41C构成拍摄部位置运算部41E。拍摄部位置运算部41E根据共同部分提取部41A所求出的共同部分，运算在拍摄时的拍摄装置30的位置。在回转体3的回转动作过程中，为了运算在拍摄时的拍摄装置30的位置，拍摄部位置运算部41E运算在拍摄时的回转体3的回转角度，从而运算拍摄装置30的位置。

存储部42使用RAM(Random Access Memory，随机存取存储器)、ROM(Read OnlyMemory，只读存储器)、快闪存储器、EPROM(Erasable Programmable Read Only Memory，可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read OnlyMemory，电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、磁盘、软盘及磁光盘中的至少一个。

存储部42存储有用于使处理部41执行实施方式涉及的测量方法的计算机程序。存储部42存储处理部41在执行实施方式涉及的测量方法时使用的信息。该信息例如包括：各拍摄装置30的内部校正数据、各拍摄装置30的姿态、拍摄装置30彼此间的位置关系、作业机2等的已知的尺寸、表示从车身坐标系的原点到各拍摄装置30或某一个拍摄装置30的位置关系的已知的尺寸、以及根据作业机2的姿态求取作业机2的一部分的位置时所需的信息。

输入输出部43是用于将处理装置40与各种设备连接的接口电路。输入输出部43与位置检测装置23、IMU24、输入装置32及集线器51连接。位置检测装置23和IMU24也可以经由通信线与输入输出部43连接。在使用通信线时的通信标准的示例为CAN(Controller AreaNetwork，控制器局域网)，但并不限于此。

集线器51与多个拍摄装置30a、30b、30c、30d、输入装置32和灯33连接。也可以不使用集线器51而连接拍摄装置30与处理装置40。作为拍摄装置30a、30b、30c、30d的拍摄结果的形状信息SI经由集线器51被输入到输入输出部43。处理部41经由集线器51和输入输出部43，获取拍摄装置30a、30b、30c、30d的拍摄结果。输入装置32用于输入在处理部41执行实施方式涉及的测量方法时所需的信息。灯33在位置检测装置23和IMU24分别稳定地检测出液压挖掘机1的位置和姿态并输出时点亮。

输入装置32可例示为开关和触摸面板，但不限于此。在实施方式中，输入装置32设置于图2所示的驾驶室4内，详细而言，设置于驾驶席4S的附近。输入装置32可以安装在操作装置35的右侧杆35R和左侧杆35L中的至少一方，也可以设置在驾驶室4内的监控面板上。此外，输入装置32可以是能够从输入输出部43拆卸，也可以是通过利用电波或红外线的无线通信向输入输出部43输入信息。输入装置32还可以设置于移动终端装置。

测量系统50的处理装置40对至少一对拍摄装置30所拍摄出的施工对象的一对图像进行基于立体方式的图像处理，由此求取施工对象的三维位置，详细而言，求取在三维坐标系中的施工对象的坐标。这样，处理装置40利用由至少一对拍摄装置30拍摄同一施工对象而得到的一对图像，对施工对象进行三维测量。也就是说，至少一对拍摄装置30以及处理装置40用于对施工对象基于立体方式进行三维测量。基于立体方式的图像处理是指，根据从两个不同的拍摄装置30观测同一施工对象而得到的两个图像，获得距该施工对象的距离的方法。距施工对象的距离例如可以表现为通过浓淡处理将距施工对象的距离信息可视化而得到的距离图像。距离图像是表示施工对象的三维形状或三维位置的信息。距离图像所含的各像素具有施工对象的三维位置的信息。

在实施方式中，处理装置40具有的处理部41中的三维位置运算部41D执行立体方式的图像处理。处理装置40获取由至少一对拍摄装置30检测出的、也就是拍摄出的施工对象的形状信息SI，并根据所获取的形状信息SI求取施工对象的三维位置。形状信息SI是由至少一对拍摄装置30拍摄出的施工对象的图像。处理装置40通过对施工对象的图像进行基于立体方式的图像处理来求取施工对象的三维位置，并将其输出。这样，处理装置40使用由至少一对拍摄装置30拍摄同一施工对象而得到的一对图像，对施工对象进行三维测量。如上所述，至少一对拍摄装置30以及处理装置40，基于立体方式对施工对象、在本实施方式中为对液压挖掘机1的周围进行三维测量。

执行基于立体方式的图像处理就能得到距离图像。距离图像的各像素具有的施工对象的三维位置是拍摄装置坐标系中的三维位置。由测量系统50进行三维测量的液压挖掘机1的周围的位置是全局坐标系中的三维位置。因此，测量系统50、详细而言是处理装置40，将通过进行基于立体方式的图像处理来得到的三维位置，从拍摄装置坐标系中的位置转换为全局坐标系中的位置。由处理部41的三维位置运算部41D执行该转换。

三维位置运算部41D获取位置检测装置23所求出的全局坐标系中的液压挖掘机1的位置、以及IMU24所求出的液压挖掘机1的姿态。液压挖掘机1的位置是天线25F、25S中的至少一方的位置。液压挖掘机1的姿态是侧倾角θr、俯仰角θp和方位角θd。三维位置运算部41D利用液压挖掘机1的位置和姿态，对根据至少一对拍摄装置30所检测出的形状信息SI而得到的距离图像中包含的三维位置进行坐标转换，从拍摄装置坐标系转换到全局坐标系并输出。

连续的三维测量

图4是用于说明对液压挖掘机1的周围连续地进行测量的示例的俯视图。测量系统50的拍摄装置30安装于液压挖掘机1的回转体3，因此，通过在回转体3的回转动作过程中由至少一对拍摄装置30对液压挖掘机1的周围CR进行拍摄，能够测量液压挖掘机1的周围CR整体的三维位置。测量系统50的处理装置40对通过执行基于立体方式的图像处理来获得的拍摄装置坐标系的三维位置进行坐标转换，将其转换为全局坐标系中的三维位置。该坐标转换需要位置检测装置23和IMU24的信息。

位置检测装置23按规定的周期输出位置。因此，在处理装置40根据从位置检测装置23获得的信息来求取在回转体3的回转动作过程中的周围CR的三维位置时，如果拍摄装置30的拍摄时刻与位置检测装置23获取液压挖掘机1的位置和方位的时刻不一致，则液压挖掘机1的位置和方位的精度会下降。其结果，三维位置的精度也可能下降。此外，有些IMU24在自身移动时，对姿态和加速度的检测精度下降。如果处理装置40根据从这种IMU24获得的信息来求取在回转体3的回转动作过程中的周围CR的三维位置，由于IMU24所检测出的液压挖掘机1的姿态和加速度的精度降低，因此三维位置的精度可能会下降。

在使回转体3回转的同时对液压挖掘机1的周围CR进行测量时，可以考虑如下方法：在位置检测装置23和IMU24成为能够稳定地检测液压挖掘机1的位置和姿态的状态之后，由拍摄装置30进行拍摄。在这种情况下，要使回转体3间断地回转。此外，还要等到位置检测装置23和IMU24能够稳定地检测液压挖掘机1的位置和姿态之后，拍摄装置30才进行拍摄。因此，如果采用等到位置检测装置23和IMU24稳定后进行拍摄的方法，测量需要时间。

在实施方式中，测量系统50不是在液压挖掘机1的回转体3的间断的回转中而是在连续的回转动作过程中检测液压挖掘机1的周围CR的形状信息SI，并根据检测出的形状信息SI求取液压挖掘机1的周围CR的三维位置。通过这样处理，测量系统50能够缩短检测液压挖掘机1的周围CR的形状信息SI所需的时间。

图5是用于说明实施方式涉及的测量系统50在回转体3的回转动作过程中对液压挖掘机1的周围CR进行三维测量的情况的图。图6是用于说明拍摄装置坐标系(Xs，Ys，Zs)根据回转体3的回转动作而移动的情况的图。图7是表示在回转体3的回转动作过程中拍摄的图像PTf、PTs的一个示例的图。

在实施方式中，在位置检测装置23和IMU24处于分别稳定地检测并输出液压挖掘机1的位置和姿态的状态时，测量系统50从位置检测装置23获取液压挖掘机1的位置，并从IMU24获取液压挖掘机1的姿态。详细而言，测量系统50在回转体3开始回转动作之前，在回转体3处于停止状态时，从位置检测装置23获取液压挖掘机1的位置，并从IMU24获取液压挖掘机1的姿态。此时，回转体3在停止，液压挖掘机1也处于不行走的状态。这是为了使位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态。处理部41例如在回转体3停止后经过了预设时间时，判断为位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态。

在回转体3朝向要测量的施工对象并停止后，测量系统50的处理装置40、详细而言为处理部41判断为位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态，然后，例如，将其通知。在实施方式中，处理部41通过点亮图3所示的灯33来进行上述通知。

处理部41在点亮灯33之后，从输入装置32接收拍摄装置30的拍摄开始指令时，从位置检测装置23和IMU24分别获取液压挖掘机1的位置和姿态。存储部42临时存储在回转体3进行回转动作之前获取的液压挖掘机1的位置和姿态。获取液压挖掘机1的位置和姿态后，处理部41使拍摄装置30a、30b、30c、30d开始拍摄，并使回转体3回转。回转体3也可以通过液压挖掘机1的操作员的操作而回转。

各个拍摄装置30a、30b、30c、30d在回转体3的回转动作过程中，按规定的周期进行多次拍摄，由此在回转体3的回转方向(例如，图5的箭头R所示的方向)上的多个位置，获取液压挖掘机1的周围CR的多个图像。存储部42临时存储所获取的图像。在回转体3回转规定的角度、例如360度后，处理部41使回转体3停止。此时，液压挖掘机1在停止状态。在回转体3停止后，在位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态时，处理部41从位置检测装置23和IMU24分别获取液压挖掘机1的位置和姿态。存储部42临时存储在回转体3的回转动作停止之后且在位置检测装置23和IMU24成为稳定地输出液压挖掘机1的位置和姿态时获取的液压挖掘机1的位置和姿态。拍摄装置30a、30b、30c、30d在回转体3的回转动作停止之后且在位置检测装置23和IMU24成为稳定地输出液压挖掘机1的位置和姿态的状态时开始拍摄施工对象。

在回转体3通过液压挖掘机1的操作员的操作而回转的情况下，各个拍摄装置30a、30b、30c、30d可以在从输入装置32接收到拍摄开始指令后，按规定的周期进行多次拍摄。或者，各个拍摄装置30a、30b、30c、30d也可以在位置检测装置23或IMU24检测到回转体3开始回转后，按规定的周期进行多次拍摄。在通过液压挖掘机1的操作员的操作回转体3停止了回转的情况下，各个拍摄装置30a、30b、30c、30d可以在位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态时，停止规定周期的拍摄。在拍摄装置30a、30b、30c、30d进行了多次拍摄的情况下，最早一次拍摄和最后一次拍摄中的至少一方在回转体3的停止中进行。在液压挖掘机1的动作过程中拍摄装置30a、30b、30c、30d进行的拍摄包含至少一次在液压挖掘机1的停止中进行的拍摄。

处理部41在求取液压挖掘机1的周围CR的三维位置时，根据在回转体3进行回转之前在回转体3和液压挖掘机1处于停止状态时获得的液压挖掘机1的位置和姿态以及回转体3的回转角度θ，求取回转体3的回转中的液压挖掘机1的位置和姿态。为此，处理部41求取回转体3的回转角度θ。

如图7所示，处理部41的共同部分提取部41A从在回转体3的回转动作过程中的第一位置例如由拍摄装置30c所拍摄的图像PTf以及在回转体3的回转动作过程中的第二位置由拍摄装置30c所拍摄的图像PTs中，求取两者的共同部分PCM。从第一位置PF移动到第二位置PS时，拍摄装置30c、30d以回转体3的回转中心轴Zr、在实施方式中为车身坐标系的Zm轴为中心，回转回转角度Δθ。

共同部分PCM可以从多个图像PTf、PTs求取，该多个图像PTf，PTs是在回转体3的回转方向上的不同位置，由多个拍摄装置30中的至少一个所拍摄的。图像PTf对应于在图5所示的第一位置PF由拍摄装置30c拍摄的第一范围FMF。图像PTs对应于在图5所示的第二位置PS由拍摄装置30c拍摄的第二范围FMS。

在第一范围FMF与第二范围FMS的重叠部分，存在特征部分FP。该特征部分FP在图像PTf中为一部分PCMf，在图像PTs中为一部分PCMs。一部分PCMf、PCMs是图像PTf与图像PTs的共同部分PCM。共同部分提取部41A在提取图像PTf与图像PTs间的共同的特征部分FP时，可例示如下方法：共同部分提取部41A首先从各个图像PTf、PTs中提取特征部分FP，并在其中找出类似的特征部分。共同部分提取部41A从存储部42获取图像PTf和图像PTs，并提取共同部分PCM。共同部分提取部41A例如采用Harris算子那样的用于检测多个图像的特征点的算法，从图像PTf和图像PTs中提取共同部分PCM。共同部分提取部41A也可以利用Harris算子以外的算法从图像PTf和图像PTs中提取共同部分PCM。

在提取共同部分PCM后，处理部41的移动量运算部41B根据共同部分PCM求取回转角度Δθ。在图像PTf与图像PTs之间存在共同部分PCM时，在两者之间，映出共同部分PCM的位置会发生变化。该变化量d对应于回转角度Δθ。

回转体3以回转中心轴Zr为中心回转回转角度Δθ，则如图6所示，拍摄装置坐标系(Xs、Ys、Zs)以回转体3的回转中心轴Zr为中心，从第一位置PF到第二位置PS移动回转角度θ。由于回转体3以回转中心轴Zr为中心、在实施方式中为以车身坐标系的Zr轴为中心回转，因此在第一位置PF与第二位置PS之间，拍摄装置坐标系(Xs，Ys，Zs)绕Zs轴回转的角度为回转角度θ。从回转中心轴Zr向拍摄装置30c、30d延伸的一点划线与拍摄装置坐标系(Xs、Ys、Zs)的Xs轴，并不一定必须如图6所示那样一致。

此时，回转角度Δθ可以通过例如八点算法、3D(维)-3D(维)转换法和光束平差法中的至少一种来求出。在求取回转角度Δθ时，存在“回转体3以回转中心轴Zr为中心回转回转角度θ”的条件、即，“约束于回转中心”的条件，因此，例如在采用八点算法时，只要在图像PTf与图像PTs之间存在一个共同部分PCM，就能够通过八点算法解出回转角度Δθ。

处理部41的移动量运算部41B利用图像PTf与图像PTs之间的共同部分PCM，基于八点算法等来求取回转角度Δθ。在从回转体3的回转开始时刻到回转结束时刻为止的整个期间，针对获得了共同部分PCM的每一组图像，分别求取回转角度θ。

在基于八点算法求取回转角度Δθ时，利用如下情况：在回转动作之前的图像中存在的共同部分PCM，在回转动作之后根据回转角度Δθ的大小而在图像上移动。实际上，共同部分PCM的移动后的位置也根据共同部分PCM的三维位置而不同。即使共同部分PCM的三维位置不明确，但只要在图像中存在一个以上的共同部分PCM，则不管共同部分PCM的三维位置如何，变量仅限于回转角度θ，因此能够求取回转角度Δθ。这样，只要存在一个就可以求取回转角度Δθ，但是误差可能较大，因此根据多个共同部分PCM利用最小平方法高精度地计算回转角度θ。在基于八点算法求取回转角度Δθ时，无需在回转的前后通过立体相机对施工对象进行测量。在将变量不仅限于回转角度Δθ，而通过八点算法求取拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及拍摄装置的姿态的三个变量、即分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量的情况下，在回转前后的图像中，需要八个以上的共同部分PCM。

在基于3D-3D转换法求取回转角度Δθ时，利用如下情况：在回转动作前的图像中存在的共同部分PCM的三维位置(通过立体相机测量来计算)，在回转动作之后，根据回转角度Δθ的大小而从拍摄装置30观察的三维位置发生变化。例如，在回转动作之前通过立体相机测量时处于车身坐标系的(1，0，0)的位置的共同部分PCM，如果在回转动作之后的立体测量时变成车身坐标系的(0，1，0)的位置，则可以说，回转体3绕车身坐标系的Zm轴回转了90度。这样，只要存在一个就可以求取回转角度Δθ，但是误差可能较大，因此根据多个共同部分PCM利用最小平方法高精度地计算回转角度Δθ。在基于3D-3D转换法求取回转角度Δθ时，需要在回转的前后通过立体相机对施工对象进行测量。在将变量不仅限于回转角度Δθ，而通过3D-3D转换法求取拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及拍摄装置的姿态的三个变量、即分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量的情况下，在回转前后的图像中，需要三个以上的共同部分PCM。

在基于光束平差法求取回转角度Δθ时，利用如下情况：在回转动作之前的图像中存在的共同部分PCM的三维位置(通过立体相机测量来计算)，在回转动作之后位于与回转角度Δθ的大小对应的图像上的位置，或者利用如下情况：在回转动作之前的图像中存在的共同部分PCM的位置，在回转动作之后，根据回转角度Δθ的大小而从拍摄装置30观察的该三维位置发生变化。在光束平差法中，只要存在一个以上的共同部分PCM，并且变量仅限于回转角度Δθ，也就能够求取回转角度Δθ。这样，只要存在一个就可以求取回转角度Δθ，但是误差可能较大，因此根据多个共同部分PCM利用最小平方法高精度地计算回转角度Δθ。

在基于光束平差法求取回转角度Δθ时，需要在回转之前通过立体相机对施工对象进行测量，或者在旋转之后通过立体相机对施工对象进行测量。在将变量不仅限于回转角度Δθ，而通过光束平差法求取拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及拍摄装置的姿态的三个变量、即分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量的情况下，在回转前后的图像中，需要六个以上的共同部分PCM。

在获得回转角度Δθ后，处理部41的车身状态运算部41C根据得到的回转角度Δθ、在回转体3进行回转动作之前处于停止状态时由位置检测装置23求出的液压挖掘机1的位置、以及在回转体3进行回转动作之前处于停止状态时由IMU24求出的液压挖掘机1的姿态，求取回转动作过程中的液压挖掘机1的位置和姿态。在回转体3从停止状态开始回转了回转角度Δθ时，车身状态运算部41C利用在车身坐标系(Xm，Ym，Zm)的Xm-Ym平面上绕回转中心轴Zr(在实施方式中为绕Zm轴)回转了回转角度θ的条件，并基于在回转动作之前的停止状态时的液压挖掘机1的位置和姿态，求取在回转了回转角度Δθ的状态下的液压挖掘机1的位置和姿态。

在图5所示的示例中，假设在第一位置PF(停止中，回转动作之前)、第二位置PS(回转动作过程中)和第三位置PT(回转动作过程中)，通过拍摄装置30进行拍摄。在第一位置PF(停止中)，能够测量液压挖掘机1的位置和姿态，根据特征点求取从第一位置PF到第二位置PS的回转角Δθ1，就能够知道在第二位置PS(回转动作过程中)的液压挖掘机1的位置和姿态。然后，如果根据特征点能够求取从第二位置PS到第三位置PT的回转角Δθ2，就能够知道在第三位置PT(回转动作过程中)的液压挖掘机1的位置和姿态。这样，阶段性地判明在回转动作过程中拍摄装置30进行拍摄的位置下的液压挖掘机1的位置和姿态。

例如，车身状态运算部41C通过对在回转动作之前的停止状态时的液压挖掘机1的位置和姿态，以车身坐标系(Xm，Ym，Zm)的Zm轴为中心进行回转角度Δθ的回转变换，由此求取在回转动作过程中或回转动作之后的液压挖掘机1的位置和姿态。在回转动作过程中或回转动作之后的液压挖掘机1的位置和姿态，例如可以设为在回转动作之前的停止状态时的车身坐标系(Xm，Ym，Zm)中的位置和姿态。在实施方式中，将回转动作过程中或回转动作之后的液压挖掘机1的位置和姿态设为在回转动作之前的车身坐标系(Xm，Ym，Zm)中的、在回转动作过程中或回转动作之后的拍摄装置30的位置和姿态，但不限于此。

上述的回转角度Δθ是回转体3的各位置与上一个位置之间的回转角度差。以下，设回转角度差为Δθ，将Δθ累计后的角度为回转角度θ。回转动作过程中的液压挖掘机1的位置和姿态、即在回转体3的回转方向上的不同位置上的、开始回转之后到结束回转之前为止的液压挖掘机1的位置和姿态，能够利用在回转体3的周向上的各位置的回转角度θ，根据在回转动作之前的停止状态时的液压挖掘机1的位置和姿态来求取。回转动作之后的液压挖掘机1的位置和姿态，能够利用回转动作之后的回转体3的周向上的位置的回转角度θ，根据在回转动作之前的停止状态时的液压挖掘机1的位置和姿态来求取。回转体3的周向上的各位置的回转角度θ以在回转动作之前的停止状态时的回转角度为基准。回转体3的周向上的各位置的回转角度θ以在回转动作之前的停止状态时的回转角度为基准。

将回转动作之前的拍摄装置30的位置设为Ps1(Xs1，Ys1，Zs1)，回转动作过程中或回转动作之后的拍摄装置30的位置设为Ps2(Xs2，Ys2，Zs2)。位置Ps1和位置Ps2都是拍摄装置坐标系中的位置。将位置Ps1和位置Ps2转换到车身坐标系后的位置分别设为位置Pm1(Xm1，Ym1，Zm1)、位置Pm2(Xm2，Ym2，Zm2)。位置Ps1通过式(1)转换成位置Pm1，位置Ps2通过式(2)转换成位置Pm2。处理部41的三维位置运算部41D利用式(2)来将作为回转动作过程中的液压挖掘机1的位置的、回转动作过程中的拍摄装置30的位置Ps2，转换成回转动作之前的停止状态时的车身坐标系(Xm，Ym，Zm)中的位置Pm2。并且将作为回转动作过程中的液压挖掘机1的姿态的、回转动作过程中的拍摄装置30的姿态，也与回转动作过程中的拍摄装置30的位置Ps2同样地，利用式(2)来转换成回转动作之前的停止状态时的车身坐标系(Xm，Ym，Zm)中的姿态。

式(2)中的R可以用式(3)表示。式(1)和式(2)中的α是绕拍摄装置坐标系的Xs轴的回转角度位移，β是绕拍摄装置坐标系的Ys轴的回转角度位移，γ是绕拍摄装置坐标系的Zs轴的回转角度位移。Xt、Yt、Zt是车身坐标系(Xm，Ym，Zm)中的、拍摄装置坐标系(Xs，Ys，Zs)与车身坐标系(Xm，Ym，Zm)的在Xm轴方向、Ym轴方向、Zm轴方向上的位移。

在获得回转动作过程中的液压挖掘机1的位置和姿态后，三维位置运算部41D利用回转动作过程中的液压挖掘机1的位置和姿态、以及在回转体3的回转方向上的多个位置由至少一对拍摄装置30拍摄出的结果，求取液压挖掘机1的周围CR的三维位置。例如，在回转体3从停止状态回转了回转角度θ的位置上，获得了全局坐标系中的液压挖掘机1的位置和姿态。因此，三维位置运算部41D利用该位置和姿态，能够对距离图像中的像素所含的三维位置进行坐标转换，从拍摄装置坐标系转换到全局坐标系。由此，三维位置运算部41D能够求出全局坐标系中的液压挖掘机1的周围CR的三维位置。

三维位置运算部41D也可以不利用回转动作过程中的液压挖掘机1的位置和姿态而求取液压挖掘机1的周围CR的三维位置。这种情况下，在式(1)和式(2)中，将在回转动作之前由拍摄装置30拍摄出的施工对象的位置设为Ps1(Xs1，Ys1，Zs1)，并将在回转动作过程中或回转动作之后由拍摄装置30拍摄出的施工对象的位置设为Ps2(Xs2，Ys2，Zs2)。三维位置运算部41D利用式(2)将回转动作过程中的由拍摄装置30拍摄出的施工对象的拍摄装置坐标系(Xs，Ys，Zs)中的位置Ps2，转换成回转动作之前的停止状态时的车身坐标系(Xm，Ym，Zm)中的位置Pm2。这样，三维位置运算部41D利用回转角度θ，能够求取在回转动作过程中或回转动作之后获得的距离图像中的像素所含的三维位置。三维位置运算部41D利用回转动作之前的停止状态时的液压挖掘机1的位置和姿态，将回转动作之前的停止状态时的车身坐标系(Xm，Ym，Zm)中的位置Pm2转换成全局坐标系中的位置。

如上所述，三维位置运算部41D利用回转角度θ、在回转体3进行回转之前处于停止状态时由位置检测装置23求出的液压挖掘机1的位置、在回转体3进行回转之前处于停止状态时由IMU24求出的液压挖掘机1的姿态、以及在回转体3的回转方向上的多个位置由至少一对拍摄装置30拍摄出的结果，来求取液压挖掘机1的周围CR的三维位置。

图8是用于说明对在回转体3的回转动作过程中拍摄的求出了三维位置的多个图像PT1-PTn进行结合的情况的图。三维位置运算部41D对由至少一对拍摄装置30拍摄并通过上述处理来求出的回转体3的回转方向上的各位置的三维位置进行结合。图8所示的图像PT1-PTn(n为3以上的整数)是由三维位置运算部41D转换成全局坐标系中的三维位置后的距离图像。在不区别距离图像PT1-PTn时，称为距离图像PT。距离图像PT1是在回转开始前的停止时所得到的，距离图像PTn是在回转结束后的停止时所得到的。

在实施方式中，将多个距离图像PT1、PT2、PT3、PT4、…、PTn-2、PTn-1及PTn结合，其包括相互重复的部分OLT。由此，在测量出液压挖掘机1的周围CR时，在回转体3的回转方向上的测量的遗漏得以抑制。

相邻的距离图像PT间的回转角度Δθ1、Δθ2、…、Δθn-1，基于拍摄装置30的拍摄范围设定为相邻的距离图像PT彼此具有重复部分OLP的大小。回转角度Δθ1、Δθ2、…、Δθn-1可以根据回转体3的周向上的位置而不同，也可以是相同的值。三维位置运算部41D通过按所设定的每个回转角度Δθ1、Δθ2、…、Δθn-1获取距离图像PTD并将其结合，生成表示液压挖掘机1的周围CR的三维位置的信息。三维位置运算部41D在对多个距离图像PTD进行结合时，可以将重复部分OLP作为任一方的距离图像PTD的三维位置，也可以作为双方的三维位置的平均值。

图9是用于说明对回转角度θ进行校正的情况的图。图9中的纵轴为回转角度θ，横轴为时间t。对于时间，设回转开始时刻为ts，回转结束时刻为te。对回转角度θ附加的符号t表示：其是根据位置检测装置23和IMU24的检测值而求出的回转角度，符号g表示：其是根据在回转动作过程中获得的多个图像而求出的回转角度。由于在提取多个图像间的共同部分PCM时的精度、以及计算回转角度θ时的误差等，在根据多个图像求出的回转角度θg与实际的回转角度θt之间产生偏移dθ。

因此，在实施方式中，移动量运算部41B利用在回转体3开始回转之前处于停止状态时的回转体3的回转角度θts、以及在回转体3结束回转之后处于停止状态时的回转体3的回转角度θte，对在回转体3的回转状态下的回转角度θg进行校正。由此，在回转体3回转时的液压挖掘机1的位置和姿态的精度下降得以抑制，因而在回转体3回转时获得的液压挖掘机1的周围CR的三维位置的精度下降得以抑制。

对校正回转角度θ的另一方法进行说明。在由移动量运算部41B求出的回转角度θ与回转体3实际回转的回转角度θ'不同的情况下，其误差的变化率(斜率)是固定的。这种情况下，移动量运算部41B利用式(4)对求出的回转角度θ进行校正。回转角度θ'为回转体3实际回转的回转角度θ'，是校正后的回转角度。利用在回转体3开始回转之前处于停止状态时的回转体3的回转角度θts、以及在回转体3结束回转之后处于停止状态时的回转体3的回转角度θte，来求取回转角度θ'。

θ'＝(θte－θts)/(θge－θgs)×(θ－θgs)+θgs…(4)

实施方式涉及的测量方法

图10是表示实施方式涉及的测量方法的步骤的一个示例的流程图。实施方式涉及的测量方法通过图3所示的测量系统50来实现。在对液压挖掘机1的周围CR进行三维测量时，液压挖掘机1的操作员使回转体3朝向开始测量的位置。在回转体3停止后，经过了规定的时间时，处理装置40的处理部41进行如下通知：在回转体3回转时，能够由拍摄装置30进行连续拍摄。作为一个示例，处理部41通过点亮灯33来通知能够进行连续拍摄。灯33点亮后，操作员对图3所示的输入装置32进行操作，向处理装置40发出拍摄装置30的拍摄开始指令。

处理装置40的处理部41在接收拍摄开始指令后，在步骤S101中，在回转体3停止的状态下，从位置检测装置23获取液压挖掘机1的位置，并获取IMU24和姿态。在步骤S102中，处理部41使回转体3开始回转，并在回转体3进行回转的期间，使至少一对拍摄装置30对液压挖掘机1的周围CR进行拍摄。在步骤S102中，在回转体3的回转动作过程中，检测液压挖掘机1的周围CR的形状信息SI。在步骤S102中，至少一对拍摄装置30将拍摄出的作为形状信息SI的图像输出到处理部41。

在回转体3回转了规定角度后，在步骤S103中，处理部41使回转体3停止。在停止后经过了规定的时间时，在步骤S104中，处理部41在回转体3停止的状态下，从位置检测装置23获取液压挖掘机1的位置，并获取IMU24和姿态。

在步骤S105中，共同部分提取部41A根据在回转体3的回转动作过程中由拍摄装置30拍摄的至少两个图像，求取两者的共同部分PCM。沿着回转体3的回转方向，在从回转体3开始回转到停止回转为止的整个范围内，求取共同部分PCM。即，在设回转动作开始前的拍摄结果为1、回转动作结束后的拍摄结果为n时，分别提取1与2的共同部分、2与3的共同部分、…、n-1与n的共同部分。在步骤S106中，移动量运算部41B根据在步骤S105中求出的共同部分PCM，求取在至少一对拍摄装置30的拍摄时刻的回转角度θ。此时，移动量运算部41B也可以使用在开始回转之前后的、回转体3处于停止状态时获得的回转角度θts和θte，对在回转体3处于回转状态时的回转角度θg进行校正。

在步骤S107中，车身状态运算部41C利用在步骤S106中获得的回转角度θ、在回转体3的回转动作之前处于停止状态时由位置检测装置23求出的液压挖掘机的位置、在回转体3的回转动之前处于停止状态时由IMU24求出的液压挖掘机的姿态、以及在回转动作过程中，在多个不同的位置上由至少一对拍摄装置30拍摄的图像，求取液压挖掘机1的周围CR的三维位置。在步骤S107中，根据作为由至少一对拍摄装置30拍摄的图像的形状信息SI，求取液压挖掘机1的周围CR的三维位置。然后，三维位置运算部41D对获得的含有三维位置的多个距离图像PTD进行结合，并将结合后的多个距离图像PTD存储到存储部42或输出到外部的服务器。

图11是表示对在回转体3的回转动作过程中和回转动作的前后获得的多个距离图像PTDs、PTDm、PTDe进行结合的示例的图。在实施方式中，在回转体3的回转动作过程中和回转动作的前后，能够获得多个距离图像PTDs、PTDm、PTDe。距离图像PTDs是在回转体3开始回转之前获得的，距离图像PTDm是在回转体3的回转动作过程中获得的，距离图像PTDe是在回转体3结束回转之后获得的。距离图像PTDm可以是一个，也可以是多个。

距离图像PTDs含有在回转体3开始回转动作之前获得的液压挖掘机的周围的三维位置。距离图像PTDm含有在回转体3的回转动作过程中获得的液压挖掘机的周围的三维位置。距离图像PTDe含有在回转体3结束回转之后获得的液压挖掘机的周围的三维位置。

图3所示的三维位置运算部41D对在回转体3的回转动作过程中和回转动作的前后获得的多个距离图像PTDs、PTDm和PTDe进行结合。具体而言，三维位置运算部41D以使各自的三维位置数据中的全局坐标系(Xg，Yg，Zg)的Xg坐标和Yg坐标一致的方式，结合高度的数据、即Zg坐标。例如，三维位置运算部41D在各距离图像PTDs、PTDm、PTDe间的共同的位置，将其结合。通过该处理，在回转体3开始回转之前获得的液压挖掘机的周围的三维位置、在回转体3的回转动作过程中获得的液压挖掘机的周围的三维位置与在回转体3结束回转之后获得的液压挖掘机的周围的三维位置被结合。

通过结合多个距离图像PTDs、PTDm、PTDe，能够获得距离图像PTDa，其表示在液压挖掘机1的周围的、回转体3进行回转的范围的三维形状。通过获得结合后的距离图像PTDa，能够把握在回转体3的回转动作过程中进行拍摄的部分位置中未能测量拍摄装置30的位置而未能运算出三维位置的区域。此外，通过获得结合后的距离图像PTDa，能够把握液压挖掘机1的周围的地形情况。三维位置运算部41D也可以对在回转体3的回转动作过程中获得的多个距离图像PTDm进行结合。

液压挖掘机1的动作过程中的连续的三维测量

图12是用于说明实施方式涉及的测量系统在液压挖掘机1的行走动作过程中对液压挖掘机1的周围CR进行三维测量的情况的图。在实施方式中，在回转体3的回转动作过程中对液压挖掘机1的周围进行三维测量，但在变形例中，在液压挖掘机1的动作过程中、例如在行走体5的行走动作过程中(行走中)，对液压挖掘机1的周围进行三维测量。

在开始行走动作之前，液压挖掘机1在停止状态。此时，回转体3和行走体5也在停止状态。在该状态下，测量系统50在位置检测装置23和IMU24处于分别稳定地检测并输出液压挖掘机1的位置和姿态的状态时，从位置检测装置23获取液压挖掘机1的位置，并从IMU24获取液压挖掘机1的姿态。这是为了使位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态。

详细而言，图3所示的测量系统50在液压挖掘机1开始行走动作之前，在回转体3和行走体5都处于停止状态时，从位置检测装置23获取液压挖掘机1的位置，并从IMU24获取液压挖掘机1的姿态。图3所示的处理部41例如在液压挖掘机1和回转体3停止后经过了预设时间时，判断为位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态。

在液压挖掘机1停止并且回转体3朝向要测量的施工对象停止后，测量系统50的处理装置40、详细而言为处理部41判断为位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态，然后，例如将其通知。通知方法如上所述。

处理部41例如在点亮灯33后，从输入装置32接收拍摄装置30的拍摄开始指令时，从位置检测装置23和IMU24分别获取液压挖掘机1的位置和姿态。存储部42临时存储在液压挖掘机1开始行走动作之前获取的液压挖掘机1的位置和姿态。获取液压挖掘机1的位置和姿态后，处理部41使拍摄装置30a、30b、30c、30d开始拍摄。操作员对未图示的行走杆进行操作，则液压挖掘机1开始行走动作。液压挖掘机1也可以在处理部41向拍摄装置30a、30b、30c、30d发出拍摄开始指令后自动地开始行走动作。

图3所示的各个拍摄装置30a、30b、30c、30d例如在图1所示的液压挖掘机1的行走体5的行走动作过程中，按规定的周期进行多次拍摄，由此在液压挖掘机1的行走方向(例如，图12的箭头MD所示的方向)上的多个位置，获取液压挖掘机1的周围CR的多个图像。图3所示的存储部42临时存储获取的图像。操作员结束对未图示的行走杆的操作时，液压挖掘机1停止行走动作。此时，回转体3也在停止状态。液压挖掘机1的行走动作的方向也可以不是直线方向。

在液压挖掘机1停止后，图3所示的位置检测装置23和IMU24成为分别稳定地检测并输出液压挖掘机1的位置和姿态的状态时，处理部41从位置检测装置23和IMU24分别获取液压挖掘机1的位置和姿态。存储部42临时存储处理部41所获取的液压挖掘机1的位置和姿态。拍摄装置30a、30b、30c、30d在液压挖掘机1开始行走后，从位置检测装置23和IMU24成为稳定地输出液压挖掘机1的位置和姿态的状态时开始对施工对象进行拍摄。

图3所示的处理部41的共同部分提取部41A从在液压挖掘机1的行走中和行走的前后获得的多个图像中，求取共同部分。共同部分提取部41A例如从在第一位置PF由拍摄装置30c拍摄的图像以及在液压挖掘机1的行走中在第二位置PS由拍摄装置30c拍摄的图像中，求取两者的共同部分。此外，共同部分提取部41A例如从在第二位置PF由拍摄装置30c拍摄的图像、以及在液压挖掘机1的行走中在第三位置PT由拍摄装置30c拍摄的图像中，求取两者的共同部分。

在第一位置PF拍摄的图像与在第二位置PS拍摄的图像的共同部分，对应于在第一范围FMF与第二范围FMS的重叠部分存在的特征部分FP。在第二位置PS拍摄的图像与在第三位置PT拍摄的图像的共同部分，对应于在第二范围FMS与第三范围FMT的重叠部分存在的特征部分FP。

共同部分提取部41A例如采用Harris算子那样的用于检测多个图像的特征点的算法，从在液压挖掘机1的行走中和行走的前后获得的多个图像中提取共同部分。在提取共同部分后，处理部41的移动量运算部41B根据共同部分PCM求取拍摄装置30的移动量ΔD(ΔD1，ΔD2)。在两个不同的图像中存在共同部分时，在两者之间，映出共同部分的位置会发生变化。该变化量对应于拍摄装置30的移动量ΔD。移动量ΔD不限于如图12所示的一个方向上的移动量，也可以是在六个变量(拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及拍摄装置的姿态的三个变量、即分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量)中的移动量。

如上所述，移动量D可以通过例如八点算法、3D(维)-3D转换法和光束平差法中的至少一种来求出。在求取移动量ΔD时，不存在“约束于回转中心”的条件。因此，在求取移动量ΔD时，需要拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及拍摄装置的姿态的三个变量、即分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量。在通过八点算法、3D(维)-3D转换法和光束平差法中的至少一种来求取上述六个变量时，与求取回转角度Δθ的情况相比，在多个图像中需要更多的共同部分。

获得移动量ΔD，则能够获得在求取移动量ΔD时求出的、拍摄装置30的位置上的Xs方向变量、Ys方向变量、Zs方向变量、以及分别对Xs轴、Ys轴、Zs轴的回转方向变量这一共六个变量。获得该六个变量，则能够获得拍摄装置30的位置和姿态。在液压挖掘机1进行行走动作时，仅通过移动量运算部41B能够得到拍摄装置30的移动量ΔD以及拍摄装置30的位置和姿态。即，在液压挖掘机1进行行走动作时，图3所示的拍摄装置演算部41E仅由移动量运算部41B构成。

在获得液压挖掘机1的行走中的拍摄装置30的位置和姿态后，三维位置运算部41D在液压挖掘机1的行走动作过程中的多个位置，利用行走动作过程中的拍摄装置30的位置和姿态、以及至少一对拍摄装置30拍摄出的结果，求取液压挖掘机1的周围CR的三维位置。例如，在液压挖掘机1从停止状态开始行走了规定的距离的位置上，获得了全局坐标系中的拍摄装置30的位置和姿态。因此，三维位置运算部41D利用该位置和姿态，能够对距离图像中的像素所含有的三维位置进行坐标转换，从拍摄装置坐标系转换到全局坐标系。由此，三维位置运算部41D能够求出全局坐标系中的液压挖掘机1的周围CR的三维位置。

在液压挖掘机1进行行走动作时的三维测量中没有说明的部分，可以利用在回转时的连续测量中说明了的方法。

在实施方式中，处理装置40对由至少一对拍摄装置30拍摄的图像进行基于立体方式的图像处理来实现三维测量，但不限于此。例如，可以采用如下方式：例如，至少一对拍摄装置30所拍摄的液压挖掘机1的周围CR的图像、以及位置检测装置23和IMU24所求出的液压挖掘机1的停止时的位置和姿态例如被发送到液压挖掘机1的外部的管理装置。然后，由外部的管理装置对液压挖掘机1的周围CR的图像执行基于立体方式的图像处理，并且求取回转体3进行回转时的回转角度θ和液压挖掘机1的位置和姿态，利用获得的结果求取回转时的液压挖掘机1的周围CR的三维位置。这种情况下，液压挖掘机1的外部的管理装置相当于处理装置40。

在实施方式中，作业机械只要具备带有至少一对拍摄装置30的回转体3即可，并不限于液压挖掘机1。此外，在实施方式中，处理装置40在回转体3的回转动作过程中不利用由位置检测装置23和IMU24求出的液压挖掘机1的位置和姿态。但是，根据位置检测装置23和IMU24的精度，处理装置40也可以利用由位置检测装置23和IMU24中的至少一方求出的液压挖掘机1的位置和姿态中的至少一方来求取液压挖掘机1的周围CR的三维位置。

在实施方式中，根据由至少一个拍摄装置30拍摄的图像来求取回转角度θ，但也可以通过其他方法来求取回转角度θ。例如，可以利用用于检测回转体3的回转角度的旋转编码器那样的角度检测传感器来求取回转角度θ。这种情况下，处理部41使从角度检测传感器获取作为其检测值的回转角度θ的时刻与至少一对拍摄装置30对施工对象进行拍摄的时刻同步。由此，能够使至少一对拍摄装置30拍摄图像的时刻与在此时刻的回转体3的回转角度θ相关联。

在实施方式中，检测装置是包括至少一对拍摄装置30的立体相机。在用立体相机进行拍摄时，使各相机的拍摄时刻同步。检测装置不限于立体相机。检测装置例如也可以是TOF(Time Of Flight，飞行时间法)相机那样的，能够获得图像和表示三维数据的距离图像双方的传感器。检测装置也可以是能够由一个相机获得距离图像的拍摄装置。检测装置还可以是激光扫描器。

在实施方式中，拍摄装置30在回转体3的回转动作过程中，按规定周期进行多次拍摄，从而求取在该各拍摄时刻的回转角度θ，但并不限于此。例如可以采用以下方式：在回转体3从图5所示的第一位置PF(停止中)开始回转时，处理装置40测量在第一位置PF由拍摄装置30拍摄的图像与开始回转后按规定周期拍摄的各图像之间的共同点的数量，并根据特征点的数量的变化来确定第二位置PS，该第二位置PS用于求取以第一位置PF为起点的拍摄装置30的位置。例如，作为确定第二位置PS的方法，可以利用如下方法：分别测量在第一位置PF拍摄的第1图像PF与之后依次拍摄的图像之间的共同点的数量，并将共同点的数量成为规定值以下时的图像，确定为在第二位置PS拍摄的第二图像。

在实施方式中，采用八点算法、3D-3D转换法和光束法中的至少一种来求取回转角度Δθ和拍摄装置30的移动量D，但不限于此。例如，也可以通过光束法平差和V-SLAM(Visual-Simultaneous Localization and Mapping，视觉同步定位与构图)中的至少一种来求取液压挖掘机1的回转角度Δθ和拍摄装置30的移动量ΔD。

如上所述，在实施方式中，在使安装有检测装置的回转体回转的同时，由检测装置检测作业机械的周围的形状，并根据检测出的形状的信息求取作业机械的周围的三维位置。这样，在实施方式中，由于使检测装置与回转体一起回转来获取作业机械的周围的形状，并根据获得的形状信息测量作业机械的周围，因此能够广范围地测量作业机械的周围。

在实施方式中，从至少一对拍摄装置所拍摄的多个图像中求取共同部分，根据获得的上述共同部分求取回转体的回转角度，并根据获得的回转角度、以及在回转体进行回转动作之前处于停止状态时求出的作业机械的位置和姿态，求取在回转体的回转动作过程中的作业机械的位置和姿态。然后，利用获得的作业机械的位置和姿态、以及在回转体的回转方向上的多个位置由至少一对拍摄装置拍摄出的结果，求取作业机械的周围的三维位置。因此，即使用于检测作业机械的位置和姿态的装置在稳定地输出位置和姿态之前需要时间、或者输出位置和姿态的周期较长，也能够根据检测装置的检测结果获得在回转动作过程中的位置和姿态。其结果，不使回转体间断地回转而使其连续回转也能够检测作业机械的周围的形状，并根据其结果能够测量作业机械的周围，因此能够缩短对作业机械的周围的形状进行检测所需的时间。而且，由于在使回转体回转的同时检测作业机械的周围的形状，并根据其结果测量作业机械的周围，因此能够广范围地测量作业机械的周围。

在实施方式中，仅限定为液压挖掘机1来进行说明，但测量系统50和测量方法的应用对象并不限于液压挖掘机1。尤其，作业机械的行走动作过程中的基于连续拍摄的三维位置测量，可以应用于推土机、轮式装载机、自卸车、马达平地机和其他作业机械。

以上，对实施方式进行了说明，但上述内容并不限定实施方式。上述的结构要素包含本领域的技术人员能够容易想到的结构要素、实质相同的结构要素、所谓的等同范围的结构要素。上述结构要素能够适当地进行组合。在不脱离实施方式的主旨的范围内，可以对结构要素进行各种省略、替换及变更中的至少一个。

符号说明

1 液压挖掘机

2 作业机

3 回转体

5 行走体

23 位置检测装置(位置检测部)

24 IMU(姿态检测部)

30，30a、30b、30c、30d 拍摄装置(拍摄部)

32 输入装置

33 灯

40 处理装置

41 处理部

41A 共同部分提取部

41B 移动量运算部

41C 车身状态运算部

41D 三维位置运算部

41E 拍摄部位置运算部

42 存储部

43 输入输出部

50 测量系统

51 集线器

CR 周围

FP 特征部分

PT 距离图像

SI 形状信息

θ 回转角度

Claims (9)

1.一种测量系统，其特征在于，包括：

拍摄部，其安装于作业机械的回转体，对所述作业机械的周围的形状进行拍摄；

位置检测部，其求取所述回转体的位置；

拍摄部位置运算部，其运算在所述回转体的回转动作过程中所述拍摄部进行拍摄时的所述拍摄部的位置；以及

三维位置运算部，其根据由所述拍摄部位置运算部运算出的所述拍摄部的位置，求取所述拍摄时的所述作业机械的周围的三维位置。

2.根据权利要求1所述的测量系统，其特征在于，包括：

共同部分提取部，其求取在所述作业机械的回转动作过程中由所述拍摄部拍摄的多个二维图像间的共同部分，

拍摄部位置运算部运算在所述拍摄部进行拍摄时的所述拍摄部的位置。

3.根据权利要求1或2所述的测量系统，其特征在于，

所述拍摄部位置运算部为了运算拍摄时的所述拍摄部的位置而运算拍摄时的所述回转体的回转角度，从而运算所述拍摄部的位置。

4.根据权利要求1至3中任一项所述的测量系统，其特征在于，

所述拍摄部位置运算部利用在所述回转体进行回转动作之前的所述回转体的位置、或在所述回转体进行回转动作之后的所述回转体的位置，对在所述拍摄部进行拍摄时的所述拍摄部的位置进行校正。

5.根据权利要求3或4所述的测量系统，其特征在于，

所述拍摄部位置运算部利用在所述回转体进行回转动作之前的所述回转体的回转角度、以及在所述回转体进行回转动作之后的所述回转体的回转角度，对所述回转体的回转动作过程中的回转角度进行校正。

6.根据权利要求2至5中任一项所述的测量系统，其特征在于，

所述拍摄部位置运算部利用多个共同部分通过最小平方法运算所述拍摄部的位置。

7.根据权利要求1至6中任一项所述的测量系统，其特征在于，

所述三维位置运算部对在所述回转体的回转动作过程中获得的多个所述作业机械的周围的三维位置进行结合。

8.一种作业机械，其特征在于，包括：

权利要求1至7中任一项所述的测量系统。

9.一种测量方法，其特征在于，包括：

对在安装于作业机械的回转体的回转动作过程中的、在安装于所述回转体的拍摄部进行拍摄时的所述拍摄部的位置进行运算的步骤；以及

根据运算出的所述拍摄部的位置，求取在所述拍摄时的所述作业机械的周围的三维位置的步骤。