CN117580997A - 作业机械的控制系统、作业机械、以及作业机械的控制方法 - Google Patents

Abstract

本发明的作业机械的控制系统具备：第一位置方位计算部，其基于GNSS电波来计算作业机械的位置及方位角；第二位置方位计算部，其基于设置在作业机械外部的多个目标物的图像来计算作业机械的位置及方位角；以及切换部，其在第一计算模式与第二计算模式之间进行切换，所述第一计算模式是利用第一位置方位计算部计算作业机械的位置及方位角，所述第二计算模式是利用第二位置方位计算部计算作业机械的位置及方位角。

Description

作业机械的控制系统、作业机械、以及作业机械的控制方法

技术领域

本发明涉及一种作业机械的控制系统、作业机械、以及作业机械的控制方法。

背景技术

在作业机械相关的技术领域中，已知有例如专利文献1所公开的基于目标施工面对挖掘对象进行挖掘的技术。作为基于目标施工面对挖掘对象进行挖掘的技术，已知有机器引导技术和机器控制技术，该机器引导技术是将表示目标施工面与作业机的相对位置的导引图像提示给作业机械的操作员，该机器控制技术是对操作员的操作进行辅助控制，以使作业机按照目标施工面动作。

专利文献1：国际公开第2015/167022号

发明内容

在基于目标施工面对挖掘对象进行挖掘的情况下，需要计算作业机械的位置及方位角。作业机械的位置及方位角利用全球定位卫星系统(GNSS：Global NavigationSatellite System)计算得出。如果发生GNSS的定位不良，那么很难计算出作业机械的位置及方位角。

本公开的目的在于，在发生了GNSS的定位不良的情况下计算作业机械的位置及方位角。

根据本公开，提供一种作业机械的控制系统，具备：第一位置方位计算部，其基于GNSS电波来计算作业机械的位置及方位角；第二位置方位计算部，其基于设置在作业机械外部的多个目标物的图像来计算作业机械的位置及方位角；以及切换部，其在第一计算模式与第二计算模式之间进行切换，所述第一计算模式是利用第一位置方位计算部计算作业机械的位置及方位角，所述第二计算模式是利用第二位置方位计算部计算作业机械的位置及方位角。

根据本公开，在发生了GNSS的定位不良的情况下，也能够计算作业机械的位置及方位角。

附图说明

图1是表示实施方式的作业机械的立体图。

图2是表示实施方式的作业机械的示意图。

图3是表示实施方式的作业机械的驾驶室的图。

图4是表示实施方式的作业机械的控制系统的框图。

图5是用来说明实施方式的回转体的位置及方位角的计算模式的示意图。

图6是表示实施方式的在作业现场设置的多个目标物的图。

图7是表示实施方式的目标物的图。

图8是表示实施方式的回转体的位置及方位角的计算方法的流程图。

图9是用来说明实施方式的回转体的位置及方位角的计算方法的示意图。

图10是用来说明实施方式的回转体的位置及方位角的计算方法的示意图。

图11是表示实施方式的回转体进行回转动作后的回转体的位置及方位角的计算方法的流程图。

图12是表示实施方式的回转体的位置及方位角的计算结果的修正方法的流程图。

图13是表示实施方式的计算机系统的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明，但本公开并不限定于实施方式。以下说明的实施方式的构成要素可适当地组合。另外，也有不使用一部分构成要素的情况。

作业机械

图1是表示实施方式的作业机械1的立体图。图2是表示实施方式的作业机械1的示意图。图3是表示实施方式的作业机械1的驾驶室2的图。

作业机械1在作业现场中工作。在实施方式中，作业机械1是液压挖掘机。在以下说明中，可将作业机械1称为液压挖掘机1。

液压挖掘机1具备行走体3、回转体4、作业机5、液压缸6、操作装置7、车载显示器8、位置传感器9、倾斜传感器10、摄像装置11、及控制装置12。

如图2所示，对作业现场规定三维现场坐标系(Xg，Yg，Zg)。对回转体4规定三维车身坐标系(Xm，Ym，Zm)。对摄像装置11规定三维相机坐标系(Xc，Yc，Zc)。

现场坐标系由从对作业现场规定的现场基准点Og向南北延伸的Xg轴、从现场基准点Og向东西延伸的Yg轴、以及从现场基准点Og向上下延伸的Zg轴构成。

车身坐标系由从对回转体4规定的代表点Om向回转体4的前后方向延伸的Xm轴、从代表点Om向回转体4的左右方向延伸的Ym轴、以及从代表点Om向回转体4的上下方向延伸的Zm轴构成。以回转体4的代表点Om为基准，+Xm方向是回转体4的前方，-Xm方向是回转体4的后方，+Ym方向是回转体4的左方，-Ym方向是回转体4的右方，+Zm方向是回转体4的上方，-Zm方向是回转体4的下方。

相机坐标系由从构成摄像装置11的一个相机13的光学中心Oc向相机13的宽度方向延伸的Xc轴、从光学中心Oc向相机13的上下方向延伸的Yc轴、以及从光学中心Oc向与相机13的光学系光轴平行的方向延伸的Zc轴构成。

行走体3在支承回转体4的状态下行走。行走体3具有一对履带3A。行走体3通过履带3A的旋转进行行走动作。行走体3的行走动作包括前进动作及后退动作。液压挖掘机1能够通过行走体3在作业现场中移动。

回转体4由行走体3支承。回转体4配置在比行走体3靠上方的位置。回转体4在被行走体3支承的状态下以回转轴RX为中心进行回转动作。回转轴RX与Zm轴平行。回转体4的回转动作包括左回转动作及右回转动作。驾驶室2设置于回转体4。

作业机5支承于回转体4。作业机5实施作业。在实施方式中，由作业机5实施的作业包括对挖掘对象进行挖掘的挖掘作业及将挖掘物装入装载对象的装载作业。

作业机5包含动臂5A、斗杆5B、以及铲斗5C。动臂5A的基端部以可转动的方式连结于回转体4的前部。斗杆5B的基端部以可转动的方式连结于动臂5A的前端部。铲斗5C的基端部以可转动的方式连结于斗杆5B的前端部。

液压缸6使作业机5动作。液压缸6包含动臂缸6A、斗杆缸6B、以及铲斗缸6C。动臂缸6A使动臂5A进行上升动作及下降动作。斗杆缸6B使斗杆5B进行挖掘动作及伸出动作。铲斗缸6C使铲斗5C进行挖掘动作及翻斗动作。动臂缸6A的基端部连结于回转体4。动臂缸6A的前端部连结于动臂5A。斗杆缸6B的基端部连结于动臂5A。斗杆缸6B的前端部连结于斗杆5B。铲斗缸6C的基端部连结于斗杆5B。铲斗缸6C的前端部连结于铲斗5C。

如图3所示，操作装置7配置在驾驶室2中。操作装置7受到操作使行走体3、回转体4及作业机5中的至少一者动作。操作装置7由搭乘在驾驶室2中的操作员操作。操作员能够在就坐在配置于驾驶室2的驾驶座14上的状态下对操作装置7进行操作。

操作装置7包括用来使回转体4及作业机5动作而操作的左作业杆7A及右作业杆7B、用来使行走体3动作而操作的左行走杆7C及右行走杆7D、以及左脚踏板7E及右脚踏板7F。

通过向前后方向操作左作业杆7A，使斗杆5B进行伸出动作或挖掘动作。通过向左右方向操作左作业杆7A，使回转体4进行左回转动作或右回转操作。通过向左右方向操作右作业杆7B，使铲斗5C进行挖掘动作或翻斗动作。通过向前后方向操作右作业杆7B，使动臂5A进行下降动作或上升动作。此外，也可以在向前后方向操作左作业杆7A时，使回转体4进行右回转动作或左回转动作，在向左右方向操作左作业杆7A时，使斗杆5B进行伸出动作或挖掘动作。

通过向前后方向操作左行走杆7C，使行走体3左侧的履带3A进行前进动作或后退动作。通过向前后方向操作右行走杆7D，使行走体3右侧的履带3A进行前进动作或后退动作。

左脚踏板7E与左行走杆7C联动。右脚踏板7F与右行走杆7D联动。也可以通过操作左脚踏板7E及右脚踏板7F使行走体3进行前进动作或后退动作。

车载显示器8配置在驾驶室2中。车载显示器8配置在驾驶座14的右前方。车载显示器8具有显示装置8A及输入装置8B。

显示装置8A显示规定的显示数据。作为显示装置8A，可例示液晶显示屏(LCD：Liquid Crystal Display)或有机电致发光显示屏(OELD：Organic ElectroluminescenceDisplay)之类的平板显示屏。

输入装置8B通过操作员的操作来生成输入数据。作为输入装置8B，可例示按钮开关、计算机用键盘、以及触控面板。

位置传感器9检测现场坐标系中的位置。位置传感器9利用全球定位卫星系统(GNSS：Global Navigation Satellite System)来检测现场坐标系中的位置。全球导航卫星系统包括全球定位系统(GPS：Global Positioning System)。全球导航卫星系统检测由纬度、经度及高度的坐标数据所规定的位置。位置传感器9包含从GNSS卫星接收GNSS电波的GNSS接收器。位置传感器9配置在回转体4上。在实施方式中，位置传感器9配置在回转体4的配重(counter weight)上。

位置传感器9包含第一位置传感器9A及第二位置传感器9B。第一位置传感器9A与第二位置传感器9B配置在回转体4的不同位置。在实施方式中，第一位置传感器9A与第二位置传感器9B在左右方向上隔开间隔地配置在回转体4上。第一位置传感器9A检测表示第一位置传感器9A配置位置的第一定位位置。第二位置传感器9B检测表示第二位置传感器9B配置位置的第二定位位置。

倾斜传感器10检测回转体4的加速度及角速度。倾斜传感器10包含惯性测量装置(IMU：Inertial Measurement Unit)。倾斜传感器10配置在回转体4上。在实施方式中，倾斜传感器10配置在驾驶室2的下方。

摄像装置11拍摄回转体4的前方。摄像装置11配置在回转体4上。在实施方式中，摄像装置11配置在驾驶室2的上部。摄像装置11包含多个相机13。相机13包含光学系统及经由光学系统接收光的影像传感器。作为影像传感器，可例示CCD(Charge Coupled Device，电荷耦合器件)传感器或CMOS(Complementary Metal Oxide Semiconductor，互补式金属氧化物半导体)传感器。

在实施方式中，设置4个相机13。相机13包含相机13A、相机13B、相机13C、以及相机13D。由1组相机13构成立体相机15。在实施方式中，由1组相机13A、13C构成第一立体相机15A。由1组相机13B、13D构成第二立体相机15B。

立体相机15A的相机13A与相机13C在回转体4的左右方向上隔开间隔配置。立体相机15B的相机13B与相机13D在回转体4的左右方向上隔开间隔配置。相机13A、13C的光学系统的光轴与Xg轴实质上平行。相机13B、13D的光学系统的光轴朝向回转体4的前方向下方倾斜。

控制系统

图4是表示实施方式的作业机械1的控制系统30的框图。液压挖掘机1具备控制系统30。控制系统30具有车载显示器8、位置传感器9、倾斜传感器10、摄像装置11、以及控制装置12。控制装置12控制液压挖掘机1。控制装置12包含计算机系统。

控制装置12具有存储部16、第一位置方位计算部17、第二位置方位计算部18、倾斜角计算部19、切换部20、三维数据计算部21、显示控制部22、以及修正部23。

存储部16存储规定的存储数据。存储部16存储与后述的目标物24相关的目标物数据。在液压挖掘机1的外部设置多个目标物24。目标物数据包含多个目标物24各自的三维位置。目标物数据包含相关数据，该相关数据表示由目标物24的识别标记27规定的识别数据与目标物24的三维位置之间的关系。

第一位置方位计算部17基于位置传感器9的检测数据来计算现场坐标系中的回转体4的位置及方位角。如上所述，位置传感器9包含用于接收GNSS电波的GNSS接收器。第一位置方位计算部17基于GNSS电波计算回转体4的位置及方位角。回转体4的方位角例如是以Xg轴为基准的回转体4的方位角。

第一位置方位计算部17基于由第一位置传感器9A检测的第一定位位置及由第二位置传感器9B检测的第二定位位置中的至少一方来计算回转体4的位置。第一位置方位计算部17基于由第一位置传感器9A检测的第一定位位置及由第二位置传感器9B检测的第二定位位置的相对位置来计算回转体4的方位角。

第二位置方位计算部18基于由摄像装置11获取的图像来计算现场坐标系中的回转体4的位置及方位角。如上所述，在液压挖掘机1的外部设置多个目标物24。摄像装置11拍摄目标物24。第二位置方位计算部18从摄像装置11获取多个目标物24的图像。第二位置方位计算部18基于设置在液压挖掘机1外部的多个目标物24的图像来计算回转体4的位置及方位角。

倾斜角计算部19基于倾斜传感器10的检测数据计算回转体4的倾斜角。回转体4的倾斜角包含回转体4的侧倾角及俯仰角。侧倾角是指回转体4在以Xg轴为中心的倾斜方向上的倾斜角。俯仰角是指回转体4在以Yg轴为中心的倾斜方向上的倾斜角。倾斜角计算部19基于倾斜传感器10的检测数据计算回转体4的侧倾角及俯仰角。

切换部20进行第一计算模式与第二计算模式的切换，所述第一计算模式是利用第一位置方位计算部17计算回转体4的位置及方位角，第二计算模式是利用第二位置方位计算部18计算回转体4的位置及方位角。

三维数据计算部21基于由立体相机15拍摄的1组图像，计算立体相机15与摄像对象的距离。作为摄像对象，可例示由作业机5挖掘的挖掘对象。三维数据计算部21通过对由立体相机15的1组相机13所拍摄的同一个摄像对象的图像进行立体处理，来计算摄像对象的三维数据。三维数据计算部21计算相机坐标系中的三维数据。

显示控制部22控制车载显示器8的显示装置8A。显示控制部22使显示装置8A显示规定的显示数据。

修正部23修正倾斜传感器10的误差。

计算模式

图5是用来对实施方式的回转体4的位置及方位角的计算模式进行说明的示意图。在实施方式中，通过第一计算模式及第二计算模式中的至少一种模式来计算回转体4的位置及方位角。回转体4的位置包含现场坐标系中的回转体4的代表点Om的位置。回转体4的方位角包含以现场坐标系中的回转体4的代表点Om为基准的车身坐标系的方位角。

第一计算模式是基于GNSS电波来计算回转体4的位置及方位角的计算模式。在第一计算模式下，第一位置方位计算部17基于位置传感器9的检测数据计算回转体4的位置及方位角。

第二计算模式是基于多个目标物24的图像计算回转体4的位置及方位角的计算模式。在第二计算模式下，第二位置方位计算部18基于由摄像装置11拍摄的目标物24的图像来计算回转体4的位置及方位角。

如果发生GNSS的定位不良，那么有可能难以利用第一位置方位计算部17计算回转体4的位置及方位角。GNSS的定位不良包括GNSS的定位精度降低以及无法定位。关于GNSS的定位不良，可例示位置传感器9接收到的GNSS电波的强度不足或者GNSS电波的多径传播(multipath)。GNSS电波的多径传播是指如下现象：从GNSS卫星发送的GNSS电波被地面或建筑物等反射、或者在电离层中反射或折射，使得位置传感器9从多个传送路径接收GNSS电波，由此导致所要检测的位置产生误差。

在未发生GNSS的定位不良的情况下，回转体4的位置及方位角以第一计算模式计算。在发生了GNSS的定位不良的情况下，回转体4的位置及方位角以第二计算模式计算。

切换部20基于GNSS电波的接收状况来在第一计算模式与第二计算模式之间进行切换。第一位置方位计算部17能够判定GNSS电波的接收状况是否良好。第一位置方位计算部17例如能够判定GNSS电波的强度。切换部20基于由位置传感器9获得的GNSS电波的接收状况来在第一计算模式与第二计算模式之间进行切换。另外，切换部20基于能否由第一位置方位计算部17计算回转体4的位置及方位角，来在第一计算模式与第二计算模式之间进行切换。例如，在GNSS电波的强度不足，GNSS电波的接收状况不良的情况下，第一位置方位计算部17成为无法计算回转体4的位置及方位角的状态的可能性较高。另一方面，在GNSS电波的强度充足，GNSS电波的接收状况良好的情况下，第一位置方位计算部17成为能够计算回转体4的位置及方位角的状态的可能性较高。

切换部20在GNSS电波的接收状况从良好状态变为不良状态的情况下，从第一计算模式切换为第二计算模式。另外，切换部20在第一位置方位计算部17从能够计算回转体4的位置及方位角的状态变为无法计算回转体4的位置及方位角的状态的情况下，从第一计算模式切换为第二计算模式。

切换部20在GNSS电波的接收状况从不良状态变为良好状态的情况下，从第二计算模式切换为第一计算模式。另外，切换部20在第一位置方位计算部17从无法计算回转体4的位置及方位角的状态变为能够计算回转体4的位置及方位角的状态的情况下，从第二计算模式切换为第一计算模式。

在实施方式中，显示控制部22使显示装置8A显示GNSS电波的接收状况。如图5所示，显示控制部22也可以在GNSS电波的接收状况从良好状态变为不良状态的情况下，使显示装置8A显示GNSS电波的接收状况处于不良状态。操作员可基于显示装置8A中所显示的显示数据来确认GNSS电波的接收状况为不良。在实施方式中，也可以根据操作员对输入装置8B的操作，来实施从第一计算模式向第二计算模式的切换。已确认到GNSS电波的接收状况不良的操作员操作输入装置8B，生成用来实施从第一计算模式向第二计算模式切换的输入数据。切换部20基于来自输入装置8B的输入数据，从第一计算模式切换为第二计算模式。

当已从第一计算模式切换为第二计算模式时，显示控制部22可使显示装置8A显示已从第一计算模式切换为第二计算模式的情况。由此，操作员能够确认已从第一计算模式切换为第二计算模式。

另一方面，当GNSS电波的接收状况从不良状态变为良好状态时，显示控制部22使显示装置8A显示GNSS电波的接收状况处于良好状态。操作员能够基于显示装置8A中所显示的显示数据来确认GNSS电波的接收状况为良好。也可以根据操作员对输入装置8B的操作，来实施从第二计算模式向第一计算模式的切换。已确认GNSS电波的接收状况良好的操作员操作输入装置8B，生成用来实施从第二计算模式向第一计算模式切换的输入数据。切换部20基于来自输入装置8B的输入数据，从第二计算模式切换为第一计算模式。

当已从第二计算模式切换为第一计算模式时，显示控制部22还可以使显示装置8A显示已从第二计算模式切换为第一计算模式的情况。由此，操作员能够确认已从第二计算模式切换为第一计算模式。

目标物

图6是表示实施方式的作业现场所设置的目标物24的图。如图6所示，目标物24在作业现场配置在液压挖掘机1的外部。在作业现场，在液压挖掘机1的周围配置多个目标物24。目标物24包含显示板25上描绘的标记。在实施方式中，在显示板25的下端部固定有接地板26。显示板25经由接地板26安置在作业现场的地面。此外，显示板25只要固定在作业现场即可。目标物24例如也可贴附在作业现场的构造物上。目标物24也可使用桩子等部件立设在作业现场。

图7是表示实施方式的目标物24的图。目标物24包含识别标记27及配置在识别标记27周围的放射标记28。识别标记27包含用来识别目标物24的识别数据。在实施方式中，识别标记27包含识别目标物24的二维条码。对目标物24规定基准点Ot。放射标记28从目标物24的基准点Ot向放射方向延伸。放射标记28具有从目标物24的基准点Ot向放射方向延伸的多条线28A。线28A包含放射标记28的边缘。在多条线28A的交点处规定目标物24的基准点Ot。

在将目标物24设置到作业现场后，用测量机测量目标物24的位置。测量机测定现场坐标系中的目标物24的三维位置。目标物24的三维位置包含基准点Ot的三维位置。测量机测定基准点Ot的三维位置。将由测量机测得的多个目标物24各自的三维位置存储在存储部16。存储部16存储相关数据，该相关数据表示由识别标记27规定的目标物24的识别数据与由测量机测得的目标物24的三维位置的关系。通过基于识别标记27特定出目标物24，而特定出特定目标物24的三维位置。

第二计算模式

接下来，对第二计算模式下的回转体4的位置及方位角的计算方法进行说明。图8是表示实施方式的回转体4的位置及方位角的计算方法的流程图。图9是用来对实施方式的回转体4的位置及方位角的计算方法进行说明的示意图。

在无法以第一计算模式计算回转体4的位置及方位角的情况下，以第二计算模式计算回转体4的位置及方位角。在实施方式中，第二位置方位计算部18基于多个目标物24的图像及回转体4的倾斜角来计算回转体4的位置及方位角。第二位置方位计算部18从摄像装置11获取多个目标物24的图像。第二位置方位计算部18从倾斜角计算部19获取回转体4的倾斜角。如上所述，回转体4的倾斜角包含回转体4的侧倾角及俯仰角。

利用摄像装置11拍摄多个目标物24。摄像装置11同时拍摄多个目标物24。如图9所示，利用摄像装置11同时拍摄三个目标物24。第二位置方位计算部18获取由摄像装置11拍摄的三个目标物24的图像29(步骤SA1)。

如图9所示，一个图像29中配置三个目标物24。

第二位置方位计算部18基于由目标物24的识别标记27规定的识别数据来识别目标物24(步骤SA2)。

第二位置方位计算部18基于图像29中的识别标记27来确定目标物24。第二位置方位计算部18基于图像29中的识别标记27及存储部16中存储的相关数据，从存储部16获取目标物24的三维位置(步骤SA3)。

如上所述，目标物24的三维位置由测量机事先测得并存储在存储部16中。另外，存储部16中预先存储有相关数据，该相关数据表示目标物24的由识别标记27规定的识别数据与目标物24的三维位置之间的关系。因此，第二位置方位计算部18能够基于图像29中的识别标记27及存储部16中存储的相关数据，获取目标物24的三维位置。

第二位置方位计算部18获取图像29中的目标物24的二维位置(步骤SA4)。

图像29中的目标物24的二维位置包含对目标物24规定的基准点Ot的二维位置。如上所述，目标物24具有包含线28A的放射标记28。第二位置方位计算部18基于图像29中的放射标记28，计算图像29中的基准点Ot的二维位置。第二位置方位计算部18能够通过对目标物24的图像29进行图像处理，而基于放射标记28高精度地计算图像29中的基准点Ot的二维位置。在以下的说明中，可将图像29中的基准点Ot称为基准点Oti。

倾斜角计算部19获取拍摄目标物24时的倾斜传感器10的检测数据，计算拍摄目标物24时的回转体4的俯仰角及侧倾角。第二位置方位计算部18从倾斜角计算部19获取拍摄目标物24时的回转体4的侧倾角及俯仰角(步骤SA5)。

第二位置方位计算部18基于步骤SA3中获取到的三个目标物24的三维位置、步骤SA4中获取到的图像29中的目标物24的二维位置、以及步骤SA5中获取到的回转体4的侧倾角及俯仰角，计算现场坐标系中的相机13的位置及方位角(步骤SA6)。

在实施方式中，第二位置方位计算部18基于光束法计算现场坐标系中的相机13的位置及方位角，所述光束法是空中三角测量中的区块调整法的一种。空中三角测量(AerialTriangulation)是指如下方法：利用表示光的直进性的共线条件及空中照片的几何学性质及，基于已知的基准点Ot的坐标，计算多个相机13对多个图像29各自的摄像位置及摄像方向。

第二位置方位计算部18获取三个基准点Ot的三维位置、图像29中的基准点Oti的二维位置、以及回转体4的侧倾角及俯仰角，以便基于光束法计算相机13的位置及方位角。基准点Ot的三维位置是现场坐标系中的三维位置。基准点Oti的二维位置是对图像29规定的图像坐标系中的二维位置。图像坐标系由uv坐标系表示，其中，以图像29的左上角为原点，横向设为u轴，纵向设为v轴。基准点Oti的二维位置作为用来将多个图像29的重复部分结合的连接点(pass point)而发挥功能。

例如，在将现场坐标系中的基准点Ot的三维位置设为P(X，Y，Z)，相机坐标系中的基准点Ot的三维位置设为Pc(Xc，Yc，Zc)，图像坐标系中的基准点Oti的二维位置设为p(x，y)，现场坐标系中的光学中心Oc的位置设为O(Xo，Yo，Zo)，现场坐标系中的表示相机13的姿势的旋转矩阵设为R，内部参数矩阵设为k的情况下，以下的式(1)、式(2)、及式(3)的条件成立。

p＝k·Pc (1)

P＝R·PC+O (2)

P＝R·(k-1·p) (3)

第二位置方位计算部18能够通过基于光束法将三个基准点Ot的三维位置、图像29中的基准点Oti的二维位置、以及回转体4的侧倾角及俯仰角收敛计算，而计算现场坐标系中的相机13的位置及方位角。

第二位置方位计算部18基于步骤SA6中计算出的相机13的位置及方位角，计算现场坐标系中的回转体4的位置及方位角(步骤SA7)。

相机13的光学中心Oc与回转体4的代表点Om的相对位置是已知的。另外，将以对回转体4规定的代表点Om为基准的车身坐标系与以相机13的光学中心Oc为基准的相机坐标系进行转换的转换矩阵是已知的。因此，第二位置方位计算部18能够使用拍摄目标物24所得的图像29，基于光束法计算现场坐标系中的相机13的位置及方位角，并基于转换矩阵对相机13的位置及方位角进行坐标转换，由此计算现场坐标系中的回转体4的位置及方位角。

上述步骤SA1到步骤SA7的处理在拍摄到目标物24的情况下实施。当在行走体3进行了行走动作后计算回转体4的位置及方位角时，再次执行上述步骤SA1到步骤SA7的处理。

此外，在上述步骤SA1到步骤SA7的处理中，也可以不拍摄三个目标物24，而只要拍摄至少两个目标物24即可。

回转动作后的位置及方位的计算

当在计算回转体4的位置及方位角后行走体3进行行走动作时，拍摄目标物24以计算回转体4的位置及方位角。当拍摄到目标物24时，再次执行上述步骤SA1到步骤SA7的处理。

另一方面，当在通过上述步骤SA1到步骤SA7的处理计算回转体4的位置及方位角后，行走体3不进行行走动作而回转体4进行回转动作时，第二位置方位计算部18能够不使用至少两个目标物24，而基于至少一个目标物24的图像29来计算回转体4的位置及方位角。

图10是用来对实施方式的回转体4的位置及方位角的计算方法进行说明的示意图。在回转体4朝向第一方向D1的状态下，通过拍摄至少两个目标物24，按照上述步骤SA1到步骤SA7的处理来计算回转体4的位置及方位。

在计算出回转体4的位置及方位角后，在回转体4以从第一方向D1朝向第二方向D2的方式回转，并由摄像装置11拍摄到至少一个目标物24时，基于至少一个目标物24的图像29来计算回转体4朝向第二方向D2时的回转体4的方位角。第二位置方位计算部18可在使用至少两个目标物24计算回转体4的位置及方位角后，在回转体4以从第一方向D1朝向第二方向D2的方式以回转轴RX为中心进行了回转动作时，基于由摄像装置11拍摄到的至少一个目标物24的图像29来计算回转体4的位置及方位角。

也就是说，第二位置方位计算部18基于使用存在于第一方向D1上的至少两个目标物24计算出的进行回转动作前的回转体4的方位角、存在于第二方向D2上的一个目标物24的图像29、进行回转动作前的回转体4的侧倾角及俯仰角、以及进行回转动作后的回转体4的侧倾角及俯仰角，来计算回转角θ。第二位置方位计算部18能够通过计算回转角θ，基于使用至少两个目标物24计算出的回转体4的方位角与回转角θ来计算回转动作后的回转体4的方位角。另外，在行走体3未进行行走动作的情况下，回转轴RX的位置不变，因此，第二位置方位计算部18可基于计算出的回转角θ来计算回转体4的位置。

另外，第二位置方位计算部18也可基于回转体4进行回转动作前由摄像装置11拍摄到的至少两个目标物24的图像29、回转体4进行回转动作前的回转体4的侧倾角及俯仰角、回转体4进行回转动作后由摄像装置11拍摄到的至少一个目标物24的图像29、以及回转体4进行回转动作后的回转体4的侧倾角及俯仰角，同时计算回转轴RX的位置、回转体4进行回转动作前的回转体4的方位角、以及回转体4进行回转动作后的回转体4的方位角。

此外，第二位置方位计算部18能够基于倾斜传感器10的检测数据计算回转角θ。如上所述，倾斜传感器10包含惯性测量装置(IMU)。惯性测量装置(IMU)作为检测回转体4的回转的回转传感器发挥功能。第二位置方位计算部18能够基于惯性测量装置(IMU)的检测数据计算回转角θ。因此，第二位置方位计算部18在使用三个目标物24计算回转体4的位置及方位角后，在行走体3不进行行走动作而回转体4进行了回转动作时，能够基于检测回转体4的回转的倾斜传感器10的检测数据来计算进行回转动作后的回转体4的位置及方位角。

图11是表示实施方式的回转体4进行回转动作后的回转体4的位置及方位角的计算方法的流程图。在回转体4进行回转动作后，第二位置方位计算部18判定摄像装置11是否拍摄到了目标物24。也就是说，在回转体4进行回转动作后，第二位置方位计算部18判定是否获取到了至少一个目标物24的图像(步骤SB1)。

当在步骤SB1中判定为获取到了至少一个目标物24的图像时(步骤SB1：是)，第二位置方位计算部18基于至少一个目标物24的图像29、进行回转动作前的回转体4的侧倾角及俯仰角、以及进行回转动作后的回转体4的侧倾角及俯仰角，计算进行回转动作后的回转体4的方位角(步骤SB2)。

当在步骤SB1中判定为无法获取至少一个目标物24的图像时(步骤SB1：否)，第二位置方位计算部18基于检测回转体4的回转的倾斜传感器10的检测数据，计算进行回转动作后的回转体4的位置及方位角(步骤SB3)。

像这样，在第一位置方位计算部17处于无法计算回转体4的位置及方位角的状态、且在回转体4进行回转动作前摄像装置11拍摄到至少两个目标物24的情况下，第二位置方位计算部18基于至少两个目标物24的图像29及回转体4的倾斜角来计算回转体4的位置及方位角。在第一位置方位计算部17处于无法计算回转体4的位置及方位角的状态、且行走体3不进行行走动作而回转体4进行了回转动作的情况下，第二位置方位计算部18能够基于在回转体4进行回转动作后由摄像装置11获取到的至少一个目标物24的图像29、或在回转体4进行回转动作后的倾斜传感器10的检测数据，来计算回转体4的位置及方位角。

修正部的处理

接下来，对修正部23的处理进行说明。修正部23修正倾斜传感器10的误差。如上所述，在行走体3不进行行走动作而回转体4进行回转动作后，无法基于位置传感器9的检测数据计算回转体4的位置及方位角，且无法基于至少一个目标物24的图像29计算回转体4的位置及方位角的情况下，第二位置方位计算部18能够基于包含IMU的倾斜传感器10的检测数据，计算进行回转动作后的回转体4的位置及方位角。在使用倾斜传感器10的检测数据计算进行回转动作后的回转体4的位置及方位角的情况下，通过将由倾斜传感器10检测出的加速度在时间上进行双重积分，可计算回转体4的位置，通过将由倾斜传感器10检测出的角速度在时间上进行积分，可计算回转体4的方位角。如果将倾斜传感器10的检测数据积分，那么有可能因积分相加而导致回转体4的位置及方位角的计算结果中产生累积误差。也就是说，由于加速度或角速度的积分而造成的误差累积，可能会降低回转体4的位置及方位角的计算精度。

在GNSS电波的接收状况良好，第一位置方位计算部17能够计算回转体4的位置及方位角的状态下，修正部23能够基于第一位置方位计算部17的计算结果来修正回转体4的位置及方位角的误差。

另一方面，在GNSS电波的接收状况不良，第一位置方位计算部17无法计算回转体4的位置及方位角的状态下，修正部23可基于第二位置方位计算部18的计算结果来修正回转体4的位置及方位角的误差。

图12是表示实施方式的回转体4的位置及方位角的计算结果的修正方法的流程图。切换部20判定第一位置方位计算部17是否处于能够计算回转体4的方位角的状态(步骤SC1)。

当在步骤SC1中判定为第一位置方位计算部17处于能够计算回转体4的方位角的状态时(步骤SC1：是)，修正部23基于由第一位置方位计算部17计算出的回转体4的方位角来修正回转体4的位置及方位角的误差(步骤SC2)。

当在步骤SC1中判定为第一位置方位计算部17处于无法计算回转体4的方位角的状态时(步骤SC1：否)，修正部23基于由第二位置方位计算部18计算出的回转体4的方位角来修正回转体4的位置及方位角的误差(步骤SC3)。

计算机系统

图13是表示实施方式的计算机系统1000的框图。上述控制装置12包含计算机系统1000。计算机系统1000具有CPU(Central Processing Unit，中央处理器)之类的处理器1001、包含ROM(Read Only Memory，只读存储器)之类的非易失性存储器及RAM(RandomAccess Memory，随机存取存储器)之类的易失性存储器的主内存1002、存储装置1003、以及包含输入输出电路的接口1004。上述控制装置12的功能作为计算机程序存储在存储装置1003中。处理器1001从存储装置1003读出计算机程序并在主内存1002中展开，按照程序来执行上述处理。此外，计算机程序也可以经由网络传送给计算机系统1000。

根据上述实施方式，计算机程序或计算机系统1000可执行：基于GNSS电波，以第一计算模式计算液压挖掘机1的位置及方位角；基于设置在液压挖掘机1外部的多个目标物24的图像，以第二计算模式计算液压挖掘机1的位置及方位角；以及在第一计算模式与第二计算模式之间进行切换。

效果

如以上所说明，根据实施方式，基于GNSS电波，以第一计算模式计算液压挖掘机1的位置及方位角。基于设置在液压挖掘机1外部的多个目标物24的图像29，以第二计算模式计算液压挖掘机1的位置及方位角。利用切换部20在第一计算模式与第二计算模式之间进行切换。即便发生GNSS的定位不良而无法以第一计算模式计算液压挖掘机1的位置及方位角，也可以用第二计算模式计算液压挖掘机1的位置及方位角。因此，即便在发生了GNSS的定位不良的情况下，液压挖掘机1也可以基于机器引导技术或机器控制技术来实施作业。

切换部20基于GNSS电波的接收状况来在第一计算模式与第二计算模式之间进行切换。当GNSS电波的接收状况从良好状态变为不良状态时，从第一计算模式切换为第二计算模式。当GNSS电波的接收状况从不良状态变为良好状态时，从第二计算模式切换为第一计算模式。由此，始终可以计算液压挖掘机1的位置及方位角。

切换部20基于能否以第一计算模式计算液压挖掘机1的位置及方位角来在第一计算模式与第二计算模式之间进行切换。当从能够以第一计算模式计算液压挖掘机1的位置及方位角的状态变为无法算出的状态时，从第一计算模式切换为第二计算模式。当从无法以第一计算模式计算液压挖掘机1的位置及方位角的状态变为能够计算的状态时，从第二计算模式切换为第一计算模式。由此，始终可以计算液压挖掘机1的位置及方位角。

将GNSS电波的接收状况显示于显示装置8A。由此，液压挖掘机1的操作员能够通过确认显示装置8A来知道GNSS电波的接收状况。

基于来自输入装置8B的输入数据在第一计算模式与第二计算模式之间进行切换。由此，可以基于液压挖掘机1的操作员的想法来切换第一计算模式与第二计算模式。

将在第一计算模式与第二计算模式之间进行了切换的情况显示于显示装置8A。由此，液压挖掘机1的操作员能够通过确认显示装置8A来知道在第一计算模式与第二计算模式之间进行了切换的情况。

显示装置8A配置在液压挖掘机1的驾驶室2中。由此，液压挖掘机1的操作员能够顺利地确认显示装置8A。

基于配置在液压挖掘机1上的倾斜传感器10的检测数据来计算液压挖掘机1的倾斜角。由此，第二位置方位计算部18能够基于多个目标物24的图像29及液压挖掘机1的倾斜角来计算液压挖掘机1的位置及方位角。

在第一位置方位计算部17处于无法算出回转体4的位置及方位角的状态、且行走体3不进行行走动作而回转体4进行了回转动作时，第二位置方位计算部18能够基于回转体4进行回转动作后所获取的至少一个目标物24的图像29或回转体4进行回转动作后的倾斜传感器10的检测数据，来计算回转体4的位置及方位角。

在倾斜传感器10包含惯性测量装置(IMU)的情况下，倾斜传感器10能够检测液压挖掘机1的方位角。在第一位置方位计算部17能够计算液压挖掘机1的位置及方位角的状态下，修正部23能够基于以第一计算模式计算出的液压挖掘机1的方位角来修正回转体4的位置及方位角的误差。在第一位置方位计算部17无法算出液压挖掘机1的位置及方位角的状态下，修正部23能够基于以第二计算模式计算出的液压挖掘机1的方位角来修正回转体4的位置及方位角的误差。

其它实施方式

在上述实施方式中，第二位置方位计算部18基于三个基准点Ot计算现场坐标系中的相机13的位置及方位角。第二位置方位计算部18也可以基于至少两个基准点Ot来计算现场坐标系中的相机13的位置及方位角。也就是说，第二位置方位计算部18也可以通过对至少两个基准点Ot的三维位置、图像29中的基准点Oti的二维位置、以及回转体4的侧倾角及俯仰角进行收敛计算，来计算现场坐标系中的相机13的位置及方位角。

在上述实施方式中，第二位置方位计算部18计算现场坐标系中的相机13的位置及方位角，并计算现场坐标系中的回转体4的位置及方位角。第二位置方位计算部18也可以计算车身坐标系中的相机13的位置及方位角，还可以计算相机坐标系中的相机13的位置及方位角。另外，第二位置方位计算部18也可以计算车身坐标系中的回转体4的位置及方位角，还可以计算相机坐标系中的回转体4的位置及方位角。

在上述实施方式中，目标物24由立体相机15拍摄。目标物24也可以由单眼相机拍摄。

在上述实施方式中，车载显示器8具有显示装置8A及输入装置8B。例如也可以使平板终端具有显示装置8A及输入装置8B。也就是说，显示装置8A及输入装置8B也可以与液压挖掘机1分离。另外，在上述实施方式中，显示装置8A及输入装置8B配置在驾驶室2。也可以将显示装置8A及输入装置8B中的一方或两方配置在驾驶室2的外部。

在上述实施方式中，将GNSS电波的接收状况显示于显示装置8A。显示控制部22例如也可以将用于进行第一计算模式与第二计算模式之间的切换的建议显示数据显示在显示装置8A上。例如，当GNSS电波的接收状况从良好状态变为不良状态的情况下，显示控制部22例如可以使显示装置8A显示比如“推荐从第一计算模式切换为第二计算模式”的文字数据。当GNSS电波的接收状况从不良状态变为良好状态时，显示控制部22例如可以使显示装置8A显示比如“推荐从第二计算模式切换为第一计算模式”的文字数据。

在上述实施方式中，根据操作员对输入装置8B的操作，实施第一计算模式与第二计算模式之间的切换。也可以不将GNSS电波的接收状况显示于显示装置8A。另外，第一计算模式与第二计算模式之间的切换也可以由控制装置12自动实施。例如，在GNSS电波的接收状况从良好状态变为不良状态的情况下，不论来自输入装置8B的输入数据如何，切换部20均可以从第一计算模式自动切换为第二计算模式。另外，当GNSS电波的接收状况从不良状态变为良好状态时，不论来自输入装置8B的输入数据如何，切换部20均可以从第二计算模式自动切换为第一计算模式。在第一计算模式与第二计算模式之间进行了自动切换后，显示控制部22也可使显示装置8A显示已进行了第一计算模式与第二计算模式之间的切换。

在上述实施方式中，存储部16、第一位置方位计算部17、第二位置方位计算部18、倾斜角计算部19、切换部20、三维数据计算部21、显示控制部22、及修正部23也可以分别由单独的硬件构成。

在上述实施方式中，作业机械1是具有行走体3及回转体4的液压挖掘机。作业机械1也可以不具有行走体3及回转体4。作业机械1只要具有作业机即可，例如可以是推土机，也可以是轮式装载机

符号说明

1…液压挖掘机(作业机械)、2…驾驶室、3…行走体、3A…履带、4…回转体、5…作业机、5A…动臂、5B…斗杆、5C…铲斗、6…液压缸、6A…动臂缸、6B…斗杆缸、6C…铲斗缸、7…操作装置、7A…左作业杆、7B…右作业杆、7C…左行走杆、7D…右行走杆、7E…左脚踏板、7F…右脚踏板、8…车载显示器、8A…显示装置、8B…输入装置、9…位置传感器、9A…第一位置传感器、9B…第二位置传感器、10…倾斜传感器、11…摄像装置、12…控制装置、13…相机、13A…相机、13B…相机、13C…相机、13D…相机、14…驾驶座、15…立体相机、15A…立体相机、15B…立体相机、16…存储部、17…第一位置方位计算部、18…第二位置方位计算部、19…倾斜角计算部、20…切换部、21…三维数据计算部、22…显示控制部、23…修正部、24…目标物、25…显示板、26…接地板、27…识别标记、28…放射标记、28A…线、29…图像、30…控制系统、1000…计算机系统、1001…处理器、1002…主内存、1003…存储装置、1004…接口、D1…第一方向、D2…第二方向、Oc…光学中心、Ot…基准点、Og…现场基准点、Om…代表点、Oti…基准点、RX…回转轴、θ…回转角。

Claims (20)

1.一种作业机械的控制系统，其特征在于，具备：

第一位置方位计算部，其基于GNSS电波来计算所述作业机械的位置及方位角；

第二位置方位计算部，其基于设置在所述作业机械外部的多个目标物的图像来计算所述作业机械的位置及方位角；以及

切换部，其在第一计算模式与第二计算模式之间进行切换，该第一计算模式是利用所述第一位置方位计算部计算所述作业机械的位置及方位角，该第二计算模式是利用所述第二位置方位计算部计算所述作业机械的位置及方位角。

2.根据权利要求1所述的作业机械的控制系统，其特征在于，

所述切换部基于所述GNSS电波的接收状况来在所述第一计算模式与所述第二计算模式之间进行切换。

3.根据权利要求1或2所述的作业机械的控制系统，其特征在于，

所述切换部基于能否利用所述第一位置方位计算部计算所述作业机械的位置及方位角，来在所述第一计算模式与所述第二计算模式之间进行切换。

4.根据权利要求1至3中任一项所述的作业机械的控制系统，其特征在于，具备：

显示控制部，其使显示装置显示所述GNSS电波的接收状况。

5.根据权利要求4所述的作业机械的控制系统，其特征在于，

所述切换部基于来自输入装置的输入数据来在所述第一计算模式与所述第二计算模式之间进行切换。

6.根据权利要求1至3中任一项所述的作业机械的控制系统，其特征在于，具备：

显示控制部，其使显示装置显示在所述第一计算模式与所述第二计算模式之间进行了切换的情况。

7.根据权利要求1至3中任一项所述的作业机械的控制系统，其特征在于，具备：

显示控制部，其使显示装置显示对于在所述第一计算模式与所述第二计算模式之间进行切换的推荐。

8.根据权利要求4至7中任一项所述的作业机械的控制系统，其特征在于，

所述显示装置配置在所述作业机械的驾驶室中。

9.根据权利要求1至8中任一项所述的作业机械的控制系统，其特征在于，具备：

倾斜传感器，其配置在所述作业机械上；以及

倾斜角计算部，其基于所述倾斜传感器的检测数据来计算所述作业机械的倾斜角，

所述第二位置方位计算部基于多个目标物的图像及所述作业机械的倾斜角来计算所述作业机械的位置及方位角。

10.根据权利要求9所述的作业机械的控制系统，其特征在于，

所述作业机械具有行走体及回转体，

所述倾斜传感器配置在所述回转体，

所述作业机械的位置及方位角是所述回转体的位置及方位角，

在所述第一位置方位计算部处于无法计算所述回转体的位置及方位角的状态、且所述行走体不进行行走动作而所述回转体进行了回转动作时，所述第二位置方位计算部基于所述回转体进行回转动作后所获取的至少一个目标物的图像，来计算所述回转体的位置及方位角。

11.根据权利要求9所述的作业机械的控制系统，其特征在于，

所述作业机械具有行走体及回转体，

所述倾斜传感器配置在所述回转体，

所述作业机械的位置及方位角是所述回转体的位置及方位角，

在所述第一位置方位计算部处于无法计算所述回转体的位置及方位角的状态、且所述行走体不进行行走动作而所述回转体进行了回转动作时，所述第二位置方位计算部基于所述回转体进行回转动作后的所述倾斜传感器的检测数据，来计算所述回转体的位置及方位角。

12.根据权利要求10或11所述的作业机械的控制系统，其特征在于，具备：

修正部，其用于修正所述倾斜传感器的误差，

在所述第一位置方位计算部能够计算所述作业机械的位置及方位角的状态下，所述修正部基于所述第一位置方位计算部的计算结果来修正所述回转体的位置及方位角的误差，在所述第一位置方位计算部无法计算所述作业机械的位置及方位角的状态下，所述修正部基于所述第二位置方位计算部的计算结果来修正所述回转体的位置及方位角的误差。

13.根据权利要求1至11中任一项所述的作业机械的控制系统，其特征在于，

所述作业机械具有行走体及回转体，

所述作业机械的位置及方位角是所述回转体的位置及方位角。

14.一种作业机械，其特征在于，具备：

权利要求1至13中任一项所述的作业机械的控制系统。

15.一种作业机械的控制方法，其特征在于，包括：

基于GNSS电波，以第一计算模式计算所述作业机械的位置及方位角；

基于设置在所述作业机械外部的多个目标物的图像，以第二计算模式计算所述作业机械的位置及方位角；以及

在所述第一计算模式与所述第二计算模式之间进行切换。

16.根据权利要求15所述的作业机械的控制方法，其特征在于，

基于所述GNSS电波的接收状况来在所述第一计算模式与所述第二计算模式之间进行切换。

17.根据权利要求15或16所述的作业机械的控制方法，其特征在于，

基于能否以所述第一计算模式计算所述作业机械的位置及方位角来在所述第一计算模式与所述第二计算模式之间进行切换。

18.根据权利要求15至17中任一项所述的作业机械的控制方法，其特征在于，包括：

将所述GNSS电波的接收状况显示于显示装置。

19.根据权利要求18所述的作业机械的控制方法，其特征在于，

基于来自输入装置的输入数据来在所述第一计算模式与所述第二计算模式之间进行切换。

20.根据权利要求15至17中任一项所述的作业机械的控制方法，其特征在于，包括：

将在所述第一计算模式与所述第二计算模式之间进行了切换的情况显示于显示装置。