CN111882597A - 测量对象物的上表面推测方法、引导信息显示装置以及起重机 - Google Patents

Abstract

基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，推测测量对象物的上表面。吊装物(W)以及地物(C)的上表面推测方法包括：点云数据获取工序，通过激光扫描仪(62)，从吊装物(W)以及地物(C)的上方在包括吊装物(W)和地物(C)的吊装物区域(WA)获取点云数据(P)；群组分配工序，通过数据处理部(70)将吊装物区域(WA)以层状分割为在铅垂方向具有规定的厚度(d)的多个群组，将所获取到的点云数据(P)分配到多个群组；上表面推测工序，通过数据处理部(70)，基于分配到多个群组的点云数据(P)，按每个群组来推测吊装物(W)和地物(C)的上表面。

Description

测量对象物的上表面推测方法、引导信息显示装置以及起 重机

本申请是申请日2018年7月19日，申请号201880048238.8，发明名称为“测量对象物的上表面推测方法、引导信息显示装置以及起重机”的分案申请。

技术领域

本发明涉及测量对象物的上表面推测方法、使用该方法的引导信息显示装置以及具备引导信息显示装置的起重机的技术。

背景技术

以往，已知有基于由激光扫描仪获取到的测量对象物的点云数据来获取该测量对象物的三维形状的技术。这样的技术例如是以下的专利文献1～3所公开那样。

在专利文献1～3中，作为用于制作以三维地表现作为测量对象物的地物的形状的三维地图的技术，公开有对表现多个地物等的形状的三维点云进行分析的三维点云分析方法涉及的技术。在专利文献1～3记载的三维点云分析方法中，首先，准备三维点云数据，三维点云数据保存有用于表现、分析多个地物的外形而设定的三维坐标空间中的位置坐标以及推测为存在该点的面的法线向量。而且，通过对三维点云数据进行主分量分析来确定假定的重力方向，将具有沿着该方向的法线向量的点排除，由此提取侧面点云。还有，将点间距离近的点彼此建立群组，由此将点云按建物单位而分开，决定每个建物的侧面。关于这样得到的各侧面进行主成份分析，由此求出法线向量，通过对法线向量彼此进行矢积的加权平均，来求出重力方向。

这样的专利文献1～3记载的三维点云分析方法中，使用表现多个地物的广域的三维点云数据，通过使用称为主成份分析的统计手法，来决定每个建物的侧面。

现有技术文献

专利文献

专利文献1：日本特开2014-186565号公报

专利文献2：日本特开2014-186566号公报

专利文献3：日本特开2014-186567号公报

发明要解决的问题

专利文献1～3中记载的以往技术是在飞机等安装激光扫描仪并根据一边在高空飞行一边获取到的点云数据来生成三维地图的技术，因此获取与测量对象物的侧面对应的点云数据，据此决定包括测量对象物的上表面的立体形状。在获取与测量对象物的侧面对应的点云数据的情况下，优选为改变测量方向而进行多次测量，另外，在测量对象物密集的情况下，也存在无法从高空顺利获取与测量对象物的侧面对应的点云数据的情况。

因此，专利文献1～3记载的以往技术中，虽然能够推测测量对象物的上表面，但用于推测上表面的计算复杂，另外点云数据的获取也麻烦。

另一方面，期望开发如下的技术：从高空进行差不多一次测量就能够可靠地获取与测量对象物的上表面对应的点云数据，从而仅使用与测量对象物的上表面对应的点云数据，就能够推测测量对象物的上表面。

发明内容

本发明是鉴于这样的现状问题而做出的，目的在于提供能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据来推测测量对象物的上表面的测量对象物的上表面推测方法、使用该方法的引导信息显示方法以及起重机。

用于解决问题的方案

本发明要解决的问题如以上那样，接着说明用于解决该问题的技术方案。

即，本发明涉及的测量对象物的上表面推测方法，其特征在于，包括：点云数据获取工序，通过激光扫描仪，从测量对象物的上方，在包括所述测量对象物的区域获取点云数据；群组分配工序，通过对所述点云数据进行运算处理的数据处理机构，将所述区域以层状分割为在铅垂方向具有规定的厚度的多个群组，将所获取到的所述点云数据分配到所述多个群组；以及上表面推测工序，通过所述数据处理机构，基于分配到所述多个群组的所述点云数据，按每个所述群组来推测所述测量对象物的上表面。

根据这样构成的测量对象物的上表面推测方法，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据来推测测量对象物的上表面。该情况下，能够在短时间内推测上表面，进而能够实时地推测测量对象物的上表面。

另外，本发明涉及的测量对象物的上表面推测方法，其特征在于，包括：标高值差异计算工序，通过所述数据处理机构，计算在所述上表面推测工序中推测出的所述上表面中，属于一个所述群组的所述上表面即基准上表面与属于所述一个群组之外的其它所述群组的所述上表面即附近上表面之间的标高值的差异；重合检测工序，在所述标高值的差异为规定的阈值以下的情况下，在由所述激光扫描仪照射的激光的侧线方向上，对所述基准上表面与所述附近上表面的重合进行检测；以及平面耦合工序，在检测出所述重合的情况下，在所述基准上表面上耦合所述附近上表面，更新所述基准上表面。

根据这样构成的测量对象物的上表面推测方法，对于上表面为倾斜面的测量对象物，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，推测测量对象物的上表面。由此，能够对于有各种形态的测量对象物，推测上表面。

另外，本发明涉及的测量对象物的上表面推测方法，其特征在于，在所述平面耦合工序之后，通过所述数据处理机构，搜索相对于进行了更新的所述基准上表面而言所述标高值的差异成为规定的阈值以下的新的所述附近上表面，在发现了所述标高值的差异成为规定的阈值以下的新的所述附近上表面的情况下，再次依次进行所述重合检测工序、所述平面耦合工序。

根据这样构成的测量对象物的上表面推测方法，能够不使用统计学方法，就基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，在更短时间内推测测量对象物的上表面。

另外，本发明涉及的测量对象物的上表面推测方法，其特征在于，其中的所述上表面推测工序包括：两点选择工序，通过所述数据处理机构，根据由激光扫描仪从测量对象物的上方获取的包括所述测量对象物的区域中的所述点云数据，提取所述区域的在铅垂方向上的规定的厚度内所包括的所述点云数据，从所提取出的所述点云数据中，选择两个点；点间距离计算工序，计算所述两个点的点间距离；两点平面视同工序，在所计算出的所述点间距离为规定的阈值以下的情况下，视为所述两个点是处于同一平面上的两点；重心计算工序，计算被视为处于同一平面上的各点的重心；附近点搜索工序，搜索与所述重心之间的距离为所述阈值以下的点即附近点；以及附近点平面视同工序，在发现了所述附近点时，将所述附近点视为是与所述被视为处于同一平面上的各点处于同一平面上的点，其中，每当检测所述附近点时，重复依次进行所述重心计算工序、所述附近点搜索工序、所述附近点平面视同工序，并且获取被视为处于同一平面上的多个点，基于所述多个点，推测所述测量对象物的上表面。

根据这样构成的测量对象物的上表面推测方法，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，不使用统计学方法，就推测测量对象物的上表面。

另外，本发明涉及的引导信息显示装置，其特征在于，具备：

数据获取部，其具备相机和激光扫描仪，该相机从测量对象物的上方拍摄至少包括所述测量对象物和地表的区域的影像，该激光扫描仪在所述区域从所述测量对象物的上方获取点云数据；数据处理部，其基于由所述数据获取部的激光扫描仪获取到的所述点云数据，推测所述测量对象物的上表面，生成将所述测量对象物的上表面包围的引导框；以及数据显示部，其显示将由所述数据处理部生成的所述引导框和由所述相机拍摄到的所述影像重叠得到的引导信息，其中，所述数据处理部将所述区域以层状分割为在铅垂方向具有规定的厚度的多个群组，将所获取到的所述点云数据分配到所述多个群组，基于分配到所述多个群组的所述点云数据，按每个所述群组，推测所述测量对象物的上表面。

根据这样构成的引导信息显示装置，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，推测测量对象物的上表面。

另外，本发明涉及的引导信息显示装置，其特征在于，所述数据处理部从包括所述测量对象物的区域中的所述点云数据中，提取所述区域的在铅垂方向上的规定的厚度内所包括的所述点云数据，从所提取出的所述点云数据中选择两个点，计算所述两个点的点间距离，在所计算出的所述点间距离为规定的阈值以下的情况下，将所述两个点视为是处于同一平面上的两点，计算被视为处于同一平面上的各点的重心，搜索与所述重心之间的距离为所述阈值以下的点即附近点，在发现了所述附近点时，将所述附近点视为是与所述被视为处于同一平面上的各点处于同一平面上的点，每当检测所述附近点时，重复依次进行所述重心的计算、所述附近点的搜索、以及视为是处于所述附近点的同一平面上的点，并且获取被视为处于同一平面上的多个点，基于所述多个点，推测所述测量对象物的上表面。

根据这样构成的引导信息显示装置，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，不使用统计学方法，就推测测量对象物的上表面。

另外，本发明涉及的引导信息显示装置，其特征在于，所述数据处理部在所推测出的所述上表面中，计算属于一个所述群组的所述上表面即基准上表面和属于所述一个群组之外的其它所述群组的所述上表面即附近上表面之间的标高值的差异，在所述标高值的差为规定的阈值以下的情况下，在由所述激光扫描仪照射的激光的侧线方向上，对所述基准上表面与所述附近上表面的重合进行检测，在检测到所述重合的情况下，将所述附近上表面耦合于所述基准上表面，更新所述基准上表面。

根据这样构成的引导信息显示装置，对于上表面为倾斜面的测量对象物，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，推测测量对象物的上表面。

另外，本发明涉及的引导信息显示装置，其特征在于，所述数据处理部在将所述附近上表面耦合于所述基准上表面之后，搜索相对于进行了更新的所述基准上表面而言的所述标高值的差异成为规定的阈值以下的新的所述附近上表面，在发现了新的所述附近上表面的情况下，再次依次进行所述重合的检测和所述附近上表面与所述基准上表面的耦合。

根据这样构成的引导信息显示装置，能够不使用统计学方法，就基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，在更短时间内推测测量对象物的上表面。

另外，本发明涉及的起重机的特征在于，具备技术方案5至技术方案8中的任一项所述的引导信息显示装置。

根据这样构成的起重机，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据来推测测量对象物的上表面。

本发明的有益效果如下：

作为本发明的效果，实现以下所示那样的效果。

根据本发明涉及的测量对象物的上表面推测方法、引导信息显示装置以及起重机，能够基于由激光扫描仪获取到的与测量对象物的上表面对应的点云数据，推测测量对象物的上表面。

附图说明

图1是示出本发明的一实施方式涉及的起重机的整体结构的示意图。

图2是说明吊装物区域的平面示意图。

图3是示出本发明的一实施方式涉及的引导信息显示装置的整体结构的示意图。

图4是说明吊装物区域的侧视示意图。

图5是相机空间坐标系以及相机的视角的说明图，(A)是Z轴方向观察示意图，(B)是X轴方向观察示意图。

图6是激光扫描仪产生的激光的照射状况的说明图，(A)是X轴方向观察示意图，(B)是Y轴方向观察示意图。

图7是示出数据获取部的示意图，(A)是Y轴方向向上观察到的图，(B)是图7的(A)中的A-A剖视图。

图8是示出引导信息的显示状态的图，(A)是示出显示影像M的数据显示部的图，(B)是示出将影像M和引导信息GD重叠显示的数据显示部的图。

图9是示出引导信息显示装置的其它结构的示意图，(A)是由平板PC构成数据处理部、数据显示部、数据输入部的情况，(B)是由触摸面板式显示器装置构成数据显示部、数据输入部的情况。

图10是示出吊装物区域与激光侧线间的关系的示意图。

图11是说明由激光扫描仪产生的激光的照射状况的Z轴方向观察示意图。

图12是示出由数据处理部进行的数据处理的流程的流程图。

图13是示出由数据获取部获取到的点云数据的图，(A)是将点云数据绘制于XYZ坐标系的图，(B)是将绘制于XYZ坐标系的点云数据分配到多个群组的图。

图14是示出由操作者进行的地表的指定状况的示意图。

图15是指定地表时的基准高的计算方法的说明图，(A)是示出基准高的计算方法的图，(B)是示出吊装物区域的分割状况的示意图。

图16是平面集群的生成方法的说明图。

图17是示出平面的推测顺序的流程图。

图18是平面的推测顺序(步骤-201～202)的说明图。

图19是平面的推测顺序(步骤-203～205)的说明图。

图20是平面的推测顺序(步骤-206～208)的说明图。

图21是平面的推测顺序(步骤-206～208(第二次))的说明图。

图22是平面的推测顺序(上表面的推测状况)的说明图。

图23是在不同的群组存在的平面的耦合方法的流程图。

图24是在不同的群组存在的平面的耦合方法的说明图。

图25是同一区域的聚类处理的说明图。

图26是分级聚类的说明图，(A)是第一例的地物的情况，(B)是第二例的地物的情况。

图27是引导框的生成顺序的说明图。

图28是示出分级聚类中的同一区域集群的设定例的图，(A)是设为包围整体的同一区域集群的情况，(B)是将标高值为最高的平面集群设定为另一同一区域集群的情况，(C)是将设定包括所有标高值的差分为阈值以上的平面集群的另一同一区域集群的情况。

图29是示出数据显示部中的警告显示的示意图。

图30是排除区域的设定状况的说明图。

具体实施方式

接下来，说明发明的实施方式。

如图1所示，起重机1是本发明的一实施方式涉及的具备引导信息显示装置的起重机的一例，是能够移动到期望的地点的移动式起重机。

起重机1具备行驶车辆10、起重装置20。

行驶车辆10是搬送起重装置20的车辆，有多个(本实施方式中为四个)车轮11，以发动机(未图示)作为动力源行驶。

在行驶车辆10的四个角部设置有支腿12。支腿12由能够利用液压在行驶车辆10的宽度方向两侧延伸的外伸臂12a和能够在垂直于地面的方向延伸的液压式的起重油缸12b构成。而且，行驶车辆10通过使起重油缸12b接地而能够将起重机1设为可作业的状态，通过增大外伸臂12a的延伸长度而能够扩大起重机1的可作业范围(作业半径)。

起重装置20利用钢丝绳将吊装物W吊起，起重装置20具备旋转台21、伸缩臂22、主钩滑轮23、副钩滑轮24、变幅缸25、主绞盘26、主钢丝绳27、副绞盘28、副钢丝绳29、驾驶室30。

旋转台21将起重装置20构成为能够转弯，旋转台21借助圆环状的轴承被设置在行驶车辆10的框架上。圆环状的轴承以其旋转中心垂直于行驶车辆10的设置面的方式配置。旋转台21构成为以圆环状的轴承的中心作为旋转中心而在一个方向和另一个方向上自如旋转。另外，旋转台21被液压式的旋转马达(未图示)转动。

伸缩臂22将钢丝绳支承为能够吊起吊装物W的状态。伸缩臂22由多个起重臂构件、即基础臂构件22a、第二臂构件22b、第三臂构件22c、第四臂构件22d、第五臂构件22e、顶臂构件22f构成。各臂构件按截面积的大小而依次嵌套式地插入。伸缩臂22构成为，利用未图示的伸缩缸使各臂构件移动，由此在轴向上自如伸缩。伸缩臂22设置为，基础臂构件22a的基端能够在旋转台21上摆动。由此，伸缩臂22构成为能够在行驶车辆10的框架上水平旋转并且自如摆动。

主钩滑轮23用于将吊装物W吊着放下，主钩滑轮23设置有主钢丝绳27被卷起的多个钩滑轮、将吊装物W吊着的主钩32。

起重装置20除了具备主钩滑轮23以外还具备用于将吊装物W吊着放下的副钩滑轮24，在副钩滑轮24设置有将吊装物W吊着的副钩33。

变幅缸25使伸缩臂22立起和放到，保持伸缩臂22的姿态。变幅缸25由液压缸构成，液压缸由缸部和杆部形成。

主绞盘26对主钢丝绳27进行收卷(卷扬)和放卷(放下)，本实施方式中主绞盘26由液压绞盘构成。

主绞盘26构成为，供主钢丝绳27卷绕的主辊被主液压马达转动。主绞盘26构成为，主液压马达被以向一个方向旋转的方式供给动作油，则在主辊卷绕的主钢丝绳27放出；主液压马达被以向另一个方向旋转的方式供给动作油，由此主钢丝绳27卷绕于主辊而被收卷。

另外，副绞盘28对副钢丝绳29进行收卷和放卷，本实施方式中，副绞盘28由液压绞盘构成。

驾驶室30覆盖操作者落座的驾驶坐席31，驾驶室30设置在旋转台21上的伸缩臂22的侧方。

这样构成起重机1，通过使行驶车辆10行驶而能够使起重装置20移动到任意的位置，另外，通过利用变幅缸25使伸缩臂22以任意的变幅角度立起，能够使伸缩臂22延伸为任意的伸缩臂长度。

另外，起重机1具备控制器34，该控制器34控制旋转台21、伸缩臂22、变幅缸25等的动作(即，起重机1的动作)。控制器34能够将与旋转台21、伸缩臂22、变幅缸25等的动作状态线管的信息、与起重机1固有的性能相关的信息、以及吊装物W的重量等输出到外部。

另外，本说明中，将伸缩臂22的变幅支点的轴向作为基准，规定如图1所示那样的XYZ坐标系(以下的说明中也同样)。

X轴方向(也称为侧线方向)是与伸缩臂22的变幅支点的轴向平行的水平方向。另外，Y轴方向(也称为标高方向)是铅垂方向。还有，Z轴方向(也称为进深方向)是与伸缩臂22的变幅支点的轴向垂直的水平方向。即，如图2所示，XYZ坐标系规定为以伸缩臂22作为基准的本地坐标系。

然后，说明本发明的一实施方式涉及的引导信息显示装置。

起重机1具备图3所示那样的引导信息显示装置50。

引导信息显示装置50是本发明涉及的引导信息显示装置的一例，是为了使图1所示那样的起重机1能够有效率地并且安全地进行作业而用于以影像来显示包括吊装物W的区域(以下称为吊装物区域WA)的信息(以下称为引导信息)来提示给操作者的装置。

如图2以及图4所示，在此所说的“吊装物区域WA”设定为在起重机1的作业区域SA内，在Y轴方向观察时包括吊装物W的区域，是成为生成“引导信息”的对象的区域。

“吊装物区域WA”设定为包括起重机1中的伸缩臂22的顶臂构件22f的正下方的区域，在吊装物区域WA内存在的吊装物W、地表F、地物C成为引导信息显示装置50显示的测量对象物。“吊装物区域WA”会根据伸缩臂22的旋转动作、变幅动作、伸缩动作发生位移。

另外，在此所说的“引导信息”是在操作者利用起重机1搬送吊装物W时，关于伸缩臂22的长度、旋转位置、变幅角度、以及钢丝绳的放出量等，辅助操作者进行判断的信息，与包括吊装物区域WA的影像信息、吊装物W以及地物C的形状相关的信息、吊装物W的高度信息、地物C的高度信息、与吊装物W的动线相关的信息等。

如图3以及图4所示，引导信息显示装置50由数据获取部60、数据处理部70、数据显示部80、数据输入部90构成。

数据获取部60是为了获取用于生成吊装物区域WA中的引导信息所需要的数据的部位，如图3所示，数据获取部60具备相机61、激光扫描仪62、惯性测量装置(IMU)63。

如图4所示，数据获取部60附设在位于起重机1的伸缩臂22的顶端位置的顶臂构件22f，以能够从位于吊装物W的正上方位置的臂顶端获得正下方的状况的状态来配置数据获取部60。另外，在此所说的吊装物W的“正上方”是包括吊装物W的铅垂上方的位置、和以该位置为基准的固定范围(例如吊装物W的上表面的范围)的位置的概念。

借助悬架67(图1参照)在伸缩臂22的顶端部的顶臂构件22f附设数据获取部60，数据获取部60构成为，在伸缩臂22进行了变幅动作、旋转动作、伸缩动作时能够大致固定地保持数据获取部60的姿态(朝向Y轴方向的姿态)。由此，相机61和激光扫描仪62能够总是朝向吊装物W。因此，数据获取部60能够利用相机61和激光扫描仪62，总是从吊装物W及其下方存在的地表F(即，吊装物区域WA)获取数据。另外，在吊装物区域WA存在地物C的情况下，能够利用相机61和激光扫描仪62获取地物C的数据。

如图5的(A)、(B)所示，相机61是用于拍摄吊装物区域WA的影像的数码相机，具有实时地将所拍摄的影像输出到外部的功能。相机61具有图5的(A)、(B)所示那样的视角(水平视角θh以及垂直视角θv)。另外，相机61具有考虑了生成适当的引导信息所需要的数据量的像素数、帧频、图像传输速率。

如图3所示，激光扫描仪62是向测量对象物照射激光并接收该激光在测量对象物处的反射光由此获取于该反射点相关的信息来获取测量对象物的点云数据的装置。激光扫描仪62的测量对象物是吊装物W、地物C、地表F。另外，激光扫描仪62与用于获取测量时刻的第一GNSS接收机65连接。

引导信息显示装置50中，利用激光扫描仪62实时地获取平面的三维点云数据。

如图6所示，激光扫描仪62具备合计16个激光收发传感器，能够同时向测量对象物照射16条激光，获取测量对象物的点云数据。激光扫描仪62的16个激光收发传感器，配置为各自在Z轴方向逐个相差2°照射角度，构成为能够对于测量对象物照射整体30°张角的激光。另外，激光扫描仪62的各激光收发传感器构成为能够围绕Z轴旋转360°(全方位)。另外，以下的说明中，将朝向吊装物区域WA照射的激光描绘的轨迹称为激光侧线。激光侧线平行于X轴方向，激光扫描仪62中，16条激光侧线同时描绘。

而且，激光扫描仪62配置为，激光侧线平行于X轴方向。另外，激光扫描仪62的使激光的照射角度改变的基准轴平行于Z轴方向。

如图3所示，惯性测量装置(Inertial Measurement Unit，以下也称为IMU)63是用于获取在数据获取时的相机61和激光扫描仪62的姿态数据的装置。IMU 63能够实时地测量姿态角，具有能够在对由激光扫描仪62获取到的点云数据进行校正时加以利用的测量精度。另外，IMU 63与用于获取测量时刻的第二GNSS接收机66连接。

如图7的(A)、(B)所示，数据获取部60是将相机61、激光扫描仪62、惯性测量装置(IMU)63固定于框体64而一体地构成的传感器单元。

框体64是五片板件组合构成的大致长方体形状的物体。框体64构成为由四片板件构成长方体的四个侧面部、由剩余一片板件构成长方体的上表面部而且下方有开口部的形状。数据获取部60中，在框体64的侧面部内侧附设相机61和激光扫描仪62，将IMU 63附设于框体64的上表面部。如图7的(A)所示，在Y轴方向观察时，相机61的摄像元件中心位置与激光扫描仪62的激光中心位置在Z轴方向上分离开距离Δzh。而且，激光中心位置是激光扫描仪62中的激光的旋转中心，位于Z轴上。

另外，如图7的(B)所示，在X轴方向观察时，相机61的摄像元件中心位置与激光扫描仪62的激光中心位置在Y轴方向上分开距离Δyv。

数据获取部60配置为，框体64的四个侧面部中的对置的一对侧面部中的一者垂直于Z轴、对置的一对侧面部中的另一者垂直于X轴的姿态。另外，数据获取部60配置为框体64的上表面部垂直于Y轴的姿态。

接下来，说明将XYZ坐标系中的点(x，y)的X坐标变换为相机空间坐标系中的Xc坐标的方法。

引导信息显示装置50中，为了在由相机61拍摄到的影像M上重叠后述的引导信息GD并显示于数据显示部80，在XYZ坐标系与相机空间坐标系之间进行坐标值的变换处理。引导信息显示装置50中，在相机61的影像空间中，规定有三维的相机空间坐标系Xc-Yc-Zc。

如图5的(A)所示，将从相机61的透镜中心延出的垂线至点(x，y)为止的在X轴方向上的距离设为dh、将相机61的水平方向的最大画面宽度设为wh。另外，将点(x，y)从画面中心起算在X轴方向的位置设为x。此时，相机空间中的点(x，y)的Xc坐标用以下的式(1)、(2)表示。

另外，以下的式中，将相机61的摄像元件与激光中心的位置的在水平方向上的差设为Δzh(参照图7的(A))，将相机图像的横向宽度设为wh，将相机61的水平视角设为θh，将临时变量设为tmp1。

tmp1＝(y-Δzh)×tan(π×θh/360)···(1)

Xc＝wh/2-wh×x/(2×tmp1)···(2)

接下来，说明将XYZ坐标系中的点(y，z)的Z坐标变换为相机空间坐标系中的Zc坐标的方法。

如图5的(B)所示，将从点(y，z)至激光中心为止的在Z轴方向上的距离设为dv，将相机61的水平方向的最大画面宽度设为wv。另外，将点(y，z)从画面中心起算在Z轴方向的位置设为z。此时，相机空间中的点(y，z)的Zc坐标用以下的式(3)(4)表示。

另外，以下的式中，将相机61的摄像元件与激光扫描仪62的激光中心的位置的在竖直方向上的差设为Δyv(参照图7的(B))，将相机图像的纵向宽度设为wv，将相机61的垂直视角设为θv，将临时变量设为tmp2。

tmp2＝Y×tan(π×θv/360)···(3)

Zc＝wv/2+wv×(Z-Δyv)/(2×tmp2)···(4)

引导信息显示装置50中，使用上述数式(1)～(4)，在XYZ坐标系中利用激光扫描仪62等获取到的点云数据的坐标变换为相机空间坐标系，由此将引导信息GD对位于由相机61拍摄到的影像M上进行显示。

另外，作为激光扫描仪62，可考虑伸缩臂22的最高到达高度，选择能够从该最高到达高度(例如，约100m)对测量对象物的三维形状进行测量的设备。另外，作为激光扫描仪62，可考虑为了生成适当的引导信息所需要的数据量以及数据精度，对于测量速度、测量点数、测量精度等各规格。选择具有规定的性能的设备。

另外，本实施方式中，例示了使用具备合计16个激光收发传感器的激光扫描仪62的情况，但本发明涉及的引导信息显示装置对于构成激光扫描仪的激光收发传感器的个数没有限定。即，本发明涉及的引导信息显示装置中，根据起重机的臂(吊臂)的最高到达高度等，适当选择最佳规格的激光扫描仪。

在由数据获取部60在吊装物区域WA中获取的数据中，包括由相机61拍摄吊装物W、吊装物W的下方的地表F、在吊装物W的周围存在的地物C而得的影像数据。另外，在由数据获取部60在吊装物区域WA中获取的数据中，包括由激光扫描仪62扫描吊装物W、地表F、地物C而获取到的点云数据。另外，在此所说的地表F，广泛包括成为吊装物W的搬送来源以及搬送目的地的面，不仅是地上表面，也包括建物屋上的地面、屋顶面等。

如图3所示，数据处理部70是用于对由数据获取部60获取到的数据进行处理来生成向操作者提示的引导信息GD的部位，本实施方式中，由安装了规定的数据处理程序的通用的个人计算机构成。

另外，数据处理部70与起重机1的控制器34电连接，从控制器34输出的“起重机信息”被输入到数据处理部70。

数据显示部80是用于显示向操作者提示的引导信息GD的部位，由与数据处理部70连接的显示器装置构成。

如图8的(A)所示，在数据显示部80实时地显示由相机61拍摄到的吊装物区域WA的影像M。

如图8的(B)所示，引导信息GD中包括表示Y轴方向观察时吊装物W-地物C的外形形状的引导框GD1、吊装物W的下表面的高度信息GD2、地物C的上表面的高度信息GD3、示出吊装物W的动线的作业半径信息GD4、示出伸缩臂22的轴线方向的轴线信息GD5等。

而且，由数据处理部70生成的引导信息GD与影像M重叠显示于数据显示部80。

如图3所示，数据输入部90是用于针对数据处理部70输入设定值等的部位，由触摸面板、鼠标、键盘装置等构成。

另外，如图9的(A)所示，也可以是，引导信息显示装置50由平板型的通用个人计算机(以下也称为平板PC)一体地构成数据处理部70和数据显示部80和数据输入部90。另外，如图9的(B)所示，也可以是，引导信息显示装置50由触摸面板式显示器装置一体地构成数据显示部80和数据输入部90，设为该触摸面板式显示器装置与作为通用PC的数据处理部70连接的结构。

如图4所示，数据显示部80和数据输入部90配置在驾驶室30内的驾驶坐席31的前方的操作者容易看见的位置。优选为，数据处理部70配置在数据获取部60的附近。另外，在由平板PC一体地构成的数据处理部70和数据显示部80和数据输入部90的情况下，也可以是将数据处理部70配置在驾驶室30内的结构。

优选为，数据获取部60与数据处理部70之间的数据的传送通过有线LAN进行。另外，数据获取部60与数据处理部70之间的数据的传送也可以采用无线LAN，或者也可以采用电力线通信。

另外，如图9的(A)所示，也可以是，引导信息显示装置50由平板型的通用个人计算机(以下也称为平板PC)一体地构成数据处理部70和数据显示部80和数据输入部90。另外，如图9的(B)所示，也可以是，引导信息显示装置50由触摸面板式显示器装置一体地构成数据显示部80和数据输入部90，设为该触摸面板式显示器装置与作为通用PC的数据处理部70连接的结构。

在此，说明数据获取部60进行的数据的获取状况。

数据获取部60中，利用相机61连续地扫视吊装物区域WA，获取吊装物区域WA的影像M。

如图10所示，数据获取部60中，利用激光扫描仪62连续地扫描吊装物区域WA，获取吊装物区域WA中的测量对象物的点云数据。以下，将由激光扫描仪62获取的点云数据称为点云数据P。点云数据P是点数据p的集合，点数据p表示位于在吊装物区域WA存在的地表F、吊装物W、地物C的上表面的点。而且，如图11所示，点数据p包括从测量对象物(例如地物C)至激光扫描仪62为止的距离a、获取该点数据p时的激光扫描仪62的照射角度b的信息。

如图3所示，在激光扫描仪62上连接有第一GNSS接收机65，激光扫描仪62获取点云数据P的同时，由第一GNSS接收机65从多个定位卫星接收时间信息。而且，数据处理部70对于点数据p赋予与该点数据p的获取时间相关的信息。即，与点数据p相关的信息除了包括距离a、照射角度b以外，还包括获取时间tp。

另外，数据获取部60中，在利用激光扫描仪62获取云数据P的同时，利用IMU 63以规定的周期获取激光扫描仪62的姿态数据Q。姿态数据Q包括相对于激光扫描仪62的X-Y-Z轴各轴方向而言的与角度和加速度相关的信息。另外，由IMU 63获取姿态数据Q的获取周期比由激光扫描仪62获取点云数据P的获取周期短。姿态数据Q是按每个测量周期测量的分立姿态数据q的集合。

在IMU 63上连接有第二GNSS接收机66，在由IMU 63获取姿态数据Q的同时，由第二GNSS接收机66从多个定位卫星处接收时间信息。数据处理部70对于分立姿态数据q赋予获取时间tq，作为与该分立姿态数据q的获取时间相关的信息。即，与分立姿态数据q相关的信息包括获取时间tq。

然后，说明数据处理部70处理数据的处理状况。

如图12所示，在由数据处理部70进行的数据处理中，首先进行“帧提取处理”(步骤-101)。

由数据处理部70进行的点云数据P的数据处理中，从点云数据P的流数据中，切出与1帧相当的点云数据P并输出。与1帧相当的点云数据P是由激光扫描仪62产生的激光的照射方向绕Z轴一周的期间获取的点数据p的集合。

如图12所示，由数据处理部70进行的数据处理中，接下来，进行“点云数据与姿态数据的同步处理”(步骤-102)。

数据处理部70使与1帧相当的点云数据P所包括点数据p，与由IMU 63获取到的姿态数据Q同步。

具体来讲，通过在各个点数据p中，搜索与该点数据p的获取时间tp最近的分立姿态数据q的获取时间tq，并将该获取时间tq下的分立姿态数据q与该点数据p建立起对应关系，来进行同步。

这样，数据处理部70输出与分立姿态数据q进行了同步的点数据p。

而且，如图11所示，数据处理部70基于距离a以及照射角度b，计算从激光扫描仪62的激光中心位置至点数据p为止的距离h。另外，在此所说的“距离h”是从激光扫描仪62的激光中心位置至点数据p所处的水平面为止的距离。

另外，数据处理部70中，在计算点数据p的距离h时，使用与该点数据p对应的分立姿态数据q来进行校正。由此，消除因激光扫描仪62的姿态而引起的误差，能够更精度良好地计算点数据p的距离h。

即，在引导信息显示装置50中，数据获取部60具备获取激光扫描仪62的姿态数据Q的IMU 63，数据处理部70基于由IMU 63获取到的激光扫描仪62的姿态数据Q来校正点云数据P。

引导信息显示装置50中，通过这样的结构，能够对于操作者提示更准确的引导信息GD。

当将与1帧相当的点云数据P绘制于XYZ坐标系时，表现为图13的(A)那样。图13的(A)是从Z轴方向观察到的点云数据P(点数据p的集合)。

如图12所示，由数据处理部70进行的数据处理中，接下来，进行“地表推测处理”(步骤-103)。数据处理部70进行推测地表F的处理。

首先，说明将影像上的特定的位置作为基准来推测地表F的情况。另外，在此例示了操作者手动指定影像上的特定的位置的情况，但也可以构成为，数据处理部70自动地决定并指定影像上的特定的位置。

引导信息显示装置50中，通过在数据显示部80以及数据输入部90中指定地表的位置，能够决定成为基准的地表F。

通过手动进行的情况下，首先如图14上图所示，操作者在数据显示部80显示的影像上指定明确是地表的位置。这样，如图14的中图所示，数据处理部70生成以所指定的该地位置(点)为中心的规定半径的基准圆。而且，如图14的下图所示，数据处理部70检测与处于激光侧线上的点数据p的重合，选择基准圆内所包括的多个点数据p。

而且，如图15的(A)所示，数据处理部70从所选择的多个点数据p中，首先提取距离h为最大距离hmax的点数据p。最大距离hmax的点数据p被推测为是处在最低的位置存在的点数据p。而且，数据处理部70将最大距离hmax作为基准，提取距离h的乖离量D在固定范围内(本实施方式中为7cm以内)的点数据p，计算所提取出的点数据p的距离h的平均值。数据处理部70将这样计算出的平均值推测为至地表F为止的距离h，据此来决定地表F的高度(以下称为基准高H0)。

而且，数据处理部70根据距离h和基准高H0来计算点数据p的标高值H。如图10所示，标高值H是从点数据p的基准高H0起算的高度。

引导信息显示装置50中，构成为，基于通过上述处理而精度良好地获取到的地表F的基准高H0来生成引导信息GD。因此，引导信息显示装置50中，能够基于地表F的高度，精度良好地计算吊装物W、在其周边存在的地物C的形状。

接下来，说明自动推测地表F的情况。

上述说明中，示出了操作者指定地表F的结构，但引导信息显示装置50中，也可以设为由数据处理部70自动推测地表F的结构。

在由数据处理部70自动推测地表F的情况下，如图15的(B)所示，数据处理部70将吊装物区域WA分割为面积相等的多个(本实施例中为160个)小区域S。

然后，数据处理部70在各小区域S中提取距离h为最大的(距离h为最大距离hmax的)点数据p，如图15的(A)所示，将最大距离hmax作为基准，提取距离h的乖离量D处于固定范围内(本实施方式中乖离量D为7cm以内)的点数据p。

然后，数据处理部70在各小区域S中计算所提取出的点数据p的距离h的平均值。数据处理部70根据这样计算出的距离h的平均值来自动推测各小区域S中的地表F的基准高H0。

或者，数据处理部70还在全部的小区域S中，对在各小区域S中计算出的距离h的平均值进行平均，根据该平均值自动推测为吊装物区域WA的地表F的基准高H0。该情况下，数据处理部70将各小区域S的距离h的平均值中的最大值作为基准，仅使用相对于该最大值的乖离量D为规定的阈值以内的小区域S来计算基准高H0。

如图12所示，由数据处理部70进行的数据处理中，接下来进行“平面的推测处理”(步骤-104)。数据处理部70通过以下所示的上表面推测方法，推测在吊装物区域WA存在的作为测量对象物的吊装物W和地物C的上表面。

当将与1帧相当的点云数据P绘制于以XYZ坐标系示出的吊装物区域WA上时，表现为如图13的(A)所示。而且，当示意性地表现处于这样的吊装物区域WA的点云数据P时，表现为如图16的上图那样。

(点云数据获取工序)

数据处理部70首先获取这样的与1帧相当的点云数据P。点云数据P是从作为测量对象物的吊装物W以及地物C的上方在包括吊装物W以及地物C的吊装物区域WA中获取到的。

(群组分配工序)

数据处理部70将在如图16的上图所示那样的吊装物区域WA中获取到的点云数据P，如图16的中图所示那样，在Y轴方向以规定的厚度d分割成层状，来将点云数据P分为多个群组(参照图13的(B))。

此时，数据处理部70对所分割出的各群组赋予分立的群组ID(在此设为ID：001～006)，将各点数据p与群组ID建立起关联。

(上表面推测工序)

然后，数据处理部70在各群组中使用该群组所包括多个点数据p来推测平面。在此所说的“平面”是在吊装物W以及地物C中朝上地存在的平面、即吊装物W以及地物C的“上表面”。

以下，具体说明上表面推测工序。

首先，如图17以及图18的上图所示，数据处理部70从同一群组所包括多个点数据p、p……中，选择两个点数据p、p(两点选择工序：步骤-201)。

然后，如图17以及图18的下图所示，数据处理部70计算所选择出的两个点数据p、p的两点之间距离L1(点间距离计算工序：步骤-202)。

接下来，如图17以及图19的上图所示，如果两点之间距离L1为规定的阈值r1以下(步骤-203)，数据处理部70将两点(用虚线表示的两个点数据p、p)视为处于同一平面上(两点平面视同工序：步骤-204)。然后，如图17以及图19的下图所示，数据处理部70计算被视为处于同一平面上的各点(在此为所选择的两点)的重心G1(重心计算工序：步骤-205)。假如，在(步骤-203)中判断为“否”的情况下，返回(步骤-201)，并重新选择新的两点。

接下来，如图17以及图20的上图所示，数据处理部70搜索相对于所计算出的重心G1而言成为附近点的点数据p(附近点搜索工序：步骤-206)。在此所说的“附近点”是相对于重心G1而言的点间距离为阈值r1以下的点。

然后，如图17以及图20下图所示，数据处理部70如果发现作为附近点的点数据p(步骤-207)，则作为该附近点的点数据p也被视为与先前所选择的两个点数据p、p处于同一平面上(附近点平面视同工序：步骤-208)。

然后，如图17以及图21的上图所示，数据处理部70返回(步骤-205)，根据被视为处于同一平面上的各点(在此，用虚线示出的三个点数据p、p、p)，计算新的重心G2。

数据处理部70转移到(步骤-206)，进一步搜索相对于重心G2而言成为附近点的点数据p。然后，如图17以及图21的下图所示，数据处理部70如果进一步发现作为附近点的点数据p(步骤-207)，则作为该附近点的点数据p也被视为是与先前所选择的各点处于同一平面上的点数据p(步骤-208)。

然后，数据处理部70一边计算新的重心一边搜索附近点，每当检测作为附近点的点数据p时，重复依次进行从(步骤-205)至(步骤-208)的处理。重复该处理，直到检测不到作为附近点的点数据p为止。

然后，如图17以及图22所示，数据处理部70如果没有发现新的附近点，(步骤-207)中判断为“否”，将被视为处于同一平面上的点数据p的部分集合(集群)进行聚类，推测平面(步骤-209)。在此所说的“聚类”是如下处理：将点数据p的集合即点云数据P分为集群，各集群所包括的点数据p具有处于同一平面上这样共同特征。

数据处理部70将点云数据P分为被视为处于同一平面上的点数据p，设定平面集群CL1(参照图16的下图)。能够根据属于平面集群CL1的各点数据p，规定平面(即，吊装物W以及地物C的“上表面”)。另外，有时在被赋予同一个群组ID的群组内，也存在多个平面集群CL1。

然后，数据处理部70对于属于平面集群CL1的点数据p，根据X坐标的最大值和最小值来推测平面的“宽度”，根据Z坐标的最大值和最小值来推测平面的“进深”。即，本实施方式所示的吊装物W以及地物C的上表面推测方法中，通过数据处理部70，根据被视为处于同一平面上的(属于同一平面集群CL1的)多个点数据p中的、在上表面的宽度方向(X轴方向)上分得最开的两个点数据p、p的点间距离来推测上表面的“宽度”，根据在上表面的进深方向(Z轴方向)分得最开的两个点数据p、p的点间距离来推测上表面的“进深”。

数据处理部70以这种方式根据所推测出的平面集群CL1来规定平面。另外，在此规定的平面也可以是矩形以外的多边形。

即，本发明的一实施方式涉及的吊装物W以及地物C的上表面推测方法包括：

点云数据获取工序，通过激光扫描仪62，从吊装物W以及地物C的上方，在包括吊装物W以及地物C的吊装物区域WA中获取点云数据P；

群组分配工序，通过对点云数据P进行运算处理的数据处理部70，将吊装物区域WA以层状分割为在铅垂方向具有规定的厚度d的多个群组(ID：001～006)，并将获取到的点云数据P分配到多个群组(ID：001～006)；

上表面推测工序，通过数据处理部70，基于分配到多个群组(ID：001～006)的点云数据P，按每个群组来推测吊装物W以及地物C的上表面。

这样的上表面推测方法中，仅基于由激光扫描仪62获取到的与上表面对应的点云数据P，就能够推测吊装物W以及地物C的上表面。因此，本实施方式所示的上表面推测方法中，基于由激光扫描仪62获取到的点云数据P，能够在短时间内推测吊装物W以及地物C的上表面，进而能够实现实时地推测吊装物W以及地物C的上表面。

另外，这样的上表面推测方法中，不用统计学方法，就能够推测吊装物W以及地物C的上表面，与使用统计学方法的情况下相比，能够减少推测吊装物W以及地物C的上表面所需要的计算量。因此，本实施方式所示的上表面推测方法中，能够基于由激光扫描仪62获取到的点云数据P，在更短时间内推测吊装物W以及地物C的上表面。

另外，本实施方式所示的吊装物W以及地物C的上表面推测方法中，例示了在起重机1中，在伸缩臂22的顶臂构件22f上设置数据获取部60，由激光扫描仪62从吊装物W的上方获取与吊装物W、地物C、地表F相关的点云数据P的情况，但本发明涉及的测量对象物的上表面推测方法不限定于此，也应用于将起重机的吊装物和在该吊装物周围存在的物体设为测量对象物的情况。

即，本发明涉及的测量对象物的上表面推测方法，例如也能够广泛地引用于如下情况，在具备臂的作业车辆(例如，高空作业车等)的臂顶端部、无人机等上设置激光扫描仪，从高空获取在其铅垂下方存在的测量对象物的点云数据，并基于获取到的点云数据推测测量对象物的上表面。

然后，本发明的一实施方式涉及的上表面推测方法中，将所推测出的各平面集群CL1(上表面)耦合。

如图23以及图24的上图所示，数据处理部70选择所推测出的平面集群CL1中的、被赋予了不同的群组ID的两个平面集群CL1、CL1，计算各平面集群CL1的标高值H的差异dH(步骤-301：标高值差异计算工序)。在此，选择属于一个群组的平面集群CL1和属于一个群组之外的其它群组的平面集群CL1。在此在所选择的两个平面集群CL1、CL1内，一个平面集群CL1是成为耦合基准的上表面(基准上表面)，另一个平面集群CL1是在基准上表面的附近存在的上表面(附近上表面)。

在此，数据处理部70搜索差异dH为阈值r2以内的组合(步骤-302)。在此所说的平面集群CL1的标高值H是属于平面集群CL1的各点数据p的标高值H的平均值。

接下来，如图23以及图24的中图所示，数据处理部70在检测出标高值H的差异dH为阈值r2以内的平面集群CL1的组合时，对于这些平面集群CL1、CL1，检测X轴方向的重合dW(步骤-303：重合检测工序)。在此所说的“重合”是由平面集群CL1规定的平面的在X轴方向上的重复程度以及分离程度，如图23以及图24所示，设为在检测出“宽度”的重复量dW1的情况下(dW1>0)或者在乖离量dW2为规定的阈值r3以下的情况下(0≦dW2≦r3)，检测“重合”。

然后，如图23以及图24所示，数据处理部70在检测出“重合”的情况下(步骤-304)，视为属于这些平面集群CL1、CL1的点数据p是在同一平面上存在的，在作为基准上表面的平面集群CL1上耦合作为附近上表面的平面集群CL1，更新作为基准上表面的平面集群CL1(步骤-305：平面耦合工序)。

如图23所示，数据处理部70重复进行以上的处理，直到满足条件的平面集群CL1、CL1的组合变没有为止(步骤-306)，来推测跨多个群组而存在的平面。

也就是说，在平面耦合工序(步骤-305)之后，数据处理部70重新搜索相对于被更新了的作为基准上表面的平面集群CL1而言标高值H的差异dH成为阈值r2以下的作为附近上表面的平面集群CL1，在发现了标高值H的差异dH成为阈值r2以下的作为附近上表面的新的平面集群CL1的情况下，进一步依次进行重合检测工序(步骤-303、304)、平面耦合工序(步骤-305)。

而且，数据处理部70输出通过以上的耦合处理进行了耦合的平面(即，平面集群CL1)。

由平面集群CL1规定的平面，是在吊装物W以及地物C中朝上存在的平面、即吊装物W以及地物C的上表面。

即，本发明的一实施方式涉及的吊装物W以及地物C的上表面推测方法中包括：

标高值差异计算工序(步骤-301)，计算在上表面推测工序中推测出的上表面中属于一个群组(图24中为ID：001)的上表面和属于其它群组(图24中为ID：002)的上表面之间的标高值H的差异dH；

重合检测工序(步骤-303)，在标高值H的差异dH为规定的阈值r2以下的情况下(步骤-302)，在由激光扫描仪62照射的激光的侧线方向(X轴方向)上，对各上表面的重合进行检测；以及

平面耦合工序(步骤-305)，在检测出重合的情况下(步骤-304)，视为各上表面构成同一平面，将各上表面耦合。

这样的平面的推测方法中，能够不使用点云数据P的法线向量，就推测平面。因此，与使用点云数据P的法线向量来推测平面的情况相比，有计算量少也足矣的特征。

另外，这样的平面的推测方法中，通过推测吊装物W、地物C的上表面，而不获取吊装物W、地物C的侧面的点数据p，就能够掌握吊装物W、地物C的立体形状。

如图12所示，在由数据处理部70进行的数据处理中，接下来进行“同一区域的聚类处理”(步骤-105)。在此所说的“聚类”是如下处理：将数据的集合即点云数据P分为集群，各集群所包括的点数据p持有处于“同一区域”的共同特征。

在此进行的“同一区域的聚类处理”，与所生成的平面集群CL1(平面)是否构成同一平面无关，是基于所生成的平面集群CL1(平面)是否存在于“同一区域”这种不同观点来进行的聚类的处理。

具体来讲，如图25上图所示，数据处理部70提取包括标高值H为最大值Hh的点数据p的平面集群CL1、和未耦合于该平面集群CL1的平面集群CL1。而且，数据处理部70计算所提取出的各平面集群CL1的标高值H的差分ΔH，如果差分ΔH为规定的阈值以下，转移到下一次判断。

当转移到下一次判断时，如图25中图所示，对于差分ΔH为规定的阈值以下的两个平面集群CL1、CL1，数据处理部70确认在Y轴方向观察时的重合。

在此，在两个平面集群CL1、CL1在Y轴方向观察时重合的情况下，如图25下图所示，数据处理部70视为这些平面集群CL1、CL1处于“同一区域”，由这些平面集群CL1、CL1形成同一区域集群CL2。

然后，数据处理部70进一步搜索包括具有标高值H的最大值Hh的点数据p的平面集群CL1、和未耦合于该平面集群CL1的平面集群CL1，如果提取到未耦合的平面集群CL1，则进行基于差分ΔH的判定、和在Y轴方向观察时的重合的确认，如果有符合上述条件的平面集群CL1，则进一步增加到上述同一区域集群CL2。

数据处理部70重复进行这样的处理，直到对于包括具有标高值H的最大值Hh的点数据p的平面集群CL1而言，找不到未耦合的平面集群CL1为止。数据处理部70通过以上的处理，形成同一区域集群CL2。

然后，属于这样形成的同一区域集群CL2的点数据p在后述的引导信息GD的显示中在形状上被处理为一个汇总，以包围同一区域集群CL2的方式显示引导框GD1。

另外，这样的“同一区域的聚类处理”优选为，如图26的(A)、(B)所示那样的、使用基于标高值的树形结构的分级聚类。在“同一区域的聚类处理”中，数据处理部70按每个地物C来使用标高值H生成树形结构。在此，例示了对于如图26的(A)所示的第一例的地物C，进行使用树形结构的分级聚类的情况；对于如图26的(B)所示的第二例的地物C，进行使用树形结构的分级聚类的情况。

在使用基于标高值的树形结构的分级聚类中，数据处理部70将标高值H的平均值为最小的平面集群CL1设定“根(root)”。另外，对于构成“根”的平面集群CL1，如果有在Y轴方向观察时持有重合的平面集群CL1，则数据处理部70从“根”伸出“枝(branch)”，在“枝”的前尖增加持有该重合的平面集群CL1。然后，数据处理部70将标高值H的平均值为最大的平面集群CL1设定为“子”。

在此，说明引导框GD1的生成方法。

数据处理部70获取在“同一区域的聚类处理”中生成的地物C的树形结构。而且，数据处理部70获取构成树形结构的各平面集群CL1所包括的点数据p。

接下来，如图27上图所示，数据处理部70根据“子”的平面集群CL1的点数据p，获取位于在Z轴方向最靠里侧位置的激光侧线上的各点数据p。然后，数据处理部70生成如下矩形，该矩形在Z轴方向分离相邻的激光侧线之间的距离的1/2并且具有能够包围各点数据p的X轴方向的宽度。

接下来，在与所生成的矩形邻接的激光侧线上存在点数据p的情况下，如图27下图所示，数据处理部70以将相应的激光侧线上的点数据p全部包括的方式使矩形变形，来生成外形线。

然后，数据处理部70在邻接的激光侧线上搜索点数据p并重复上述处理，直到成为对象的激光侧线上的点数据p变没有为止。

最后，数据处理部70生成将所选择的树形结构所包括的全部平面集群CL1外包围的外形线。

然后，数据处理部70从所生成的外形线中仅输出符合条件的外形线，作为引导框GD1。

例如如图28的(A)所示，作为引导框GD1进行输出的条件，能够选择仅显示作为地物C的大框的外形线的条件。在选择该条件的情况下，对于该地物C，在数据显示部80显示将地物C整体包围的一个引导框GD1。

另外，作为以引导框GD1的形式进行输出的条件，例如如图28的(B)所示，能够选择如下条件：除了显示作为地物C的大框的外形线以外，还显示相对于“根”而言的标高值H的差(差分ΔH)为阈值以上的外形线(小框)中的、与在各枝处标高值H为最高的平面集群CL1相关的外形线的条件。在选择了该条件的情况下，在数据显示部80显示将该地物C整体包围的第一重引导框GD1、和被包含于第一重引导框GD1内侧的第二引导框GD1，显示已考虑了地物C的立体形状的更详细的引导信息GD。

还有，作为以引导框GD1的形式进行输出的条件，例如如图28的(C)所示，能够选择如下条件：除了显示作为地物C的大框的外形线以外，还显示全部相对于“根”而言的标高值H的差(差分ΔH)为阈值以上的外形线(小框)的条件。在选择了该条件的情况下，也在数据显示部80中显示将地物C整体包围的第一重引导框GD1、和包含在其内侧的第二重引导框GD1，显示已考虑了地物C的立体形状的更详细的引导信息GD。

这样的显示条件，也能通过调整差分ΔH的阈值来进行。能够以操作者更容易看到引导信息GD的显示的方式，适当选择引导框GD1的显示条件。

即，引导信息显示装置50中，基于同一区域集群CL2生成引导框GD1，由此，能够考虑地物C的立体形状，生成更详细地表现地物C的引导框GD1。另外，引导信息显示装置50中，能够生成将在同一区域存在的平面集群CL1集中包围的引导框GD1。即，根据引导信息显示装置50，能够更详细地提示容易看见的引导信息GD。

如图12所示，在由数据处理部70进行的数据处理中，接下来进行“点云数据和相机影像的同步处理”(步骤-106)。

在此，如图5的(A)、(B)所示，将在XYZ坐标系获取到的点云数据P变换为相机空间坐标系的坐标值，同步(对位)于由相机61拍摄到的影像M上，向数据显示部80输出。

如图12所示，在由数据处理部70进行的数据处理中，接下来进行“引导显示处理”(步骤-107)。

数据处理部70基于所生成的同一区域集群CL2的信息来生成引导信息GD，输出到数据显示部80。

另外，在进行“引导显示处理”时，利用从起重机1的控制器34输出的“起重机信息”。在此所利用的“起重机信息”中包括与伸缩臂22的长度、变幅角度、起重机1的作业半径、吊装物W的重量等相关的信息。

说明了由数据处理部70进行的数据处理的一系列流程，但这样的结构中，不需要获取测量对象物的侧面中的点数据p，能够以很少的计算量确切地掌握吊装物W、地物C的立体形状，生成引导信息GD。这样的结构，由于数据计算量少就足矣，适于实时地掌握吊装物W、地物C的形状的用途，能够使用简单的硬件结构的数据处理部70。

接下来，说明引导信息GD的内容。

引导信息显示装置50中，由数据显示部80显示引导信息GD。由数据显示部80显示的引导信息GD中，包括如图8(B)所示那样的由操作者进行的与地表F的指定位置相关的信息。

另外，引导信息显示装置50中，能够指定吊装物W。与操作者指定地表F的情况同样地，在画面上指示吊装物W，由此，将在该指定位置存在的平面(上表面)设定为表示吊装物W的上表面。优选为，被指定为吊装物W之后，与吊装物W相关的引导框GD1和与地物C相关的引导框GD1会改变线色、线粗等来区别显示。

与地表F和吊装物W的指定位置相关的信息被用圆等图形表示的标记显示。

另外，由数据显示部80显示的导信息GD中，包括由数据处理部70生成的引导框GD1。

数据处理部70基于所设定的同一区域集群CL2，输出引导框GD1。另外，就数据处理部70而言，作为吊装物W的引导框GD1，能够将能设置用于可靠地避免碰撞的余裕并相对于吊装物W的外形线向外侧偏移了规定的距离的框线，作为引导框GD1输出。这样的引导框GD1是用线段包围框显示在吊装物W以及地物C中推测出的上表面(平面集群CL1)。

另外，由数据显示部80显示的引导信息GD中，包括从基准高H0至吊装物W的下表面为止的高度信息GD2、和从基准高H0至地物C的上表面为止的高度信息GD3。

优选构成为，在数据显示部80的画面上的容易看见的位置设置独立的区域，在该区域显示吊装物W的高度信息GD2。

引导信息显示装置50中，通过这样的结构，不会看错吊装物W的高度信息GD2和地物C的高度信息GD3。

数据处理部70通过从推测为是吊装物W的上表面的平面集群CL1的上表面高度中减去吊装物W的高度，来计算出高度信息GD2。

引导信息显示装置50中，操作者将与吊装物W相关的信息(以下称为“吊装物信息”)输入到预先数据处理部70。由该操作者进行的“吊装物信息”的输入，是从数据输入部90处进行的。而且，数据处理部70利用“吊装物信息”获取吊装物W的高度。

引导信息显示装置50中，构成为，将地物C的高度信息GD3显示于包围地物C的引导框GD1的内侧。或者，引导信息显示装置50中，构成为，在引导框GD1小的情况下，将地物C的高度信息GD3以与引导框GD1局部重合的方式显示。

引导信息显示装置50中，通过这样的结构，明确地物C与高度信息GD3的对应关系。

另外，引导信息显示装置50中，构成为，通过数据处理部70，根据与该引导框GD1对应的平面集群CL1的标高值H，改变引导框GD1的线色。

引导信息显示装置50中，通过这样的结构，操作者看见引导框GD1，从而能够在感觉上感知吊装物W、地物C的大致标高值(高度)。因此，引导信息显示装置50中，能够更确切地提示吊装物W和地物C的高度。

还有，引导信息显示装置50中构成为，通过数据处理部70，根据与该引导框GD1对应的平面集群CL1的标高值H，改变高度信息GD2的字体颜色。

引导信息显示装置50中，通过这样的结构，操作者看见高度信息GD2，从而，能够在感觉上感知吊装物W、地物C的大致标高值(高度)。因此，引导信息显示装置50中，能够更确切地提示吊装物W和地物C的高度。

还有，由引导信息显示装置50进行的引导信息GD的显示中，包括吊装物W的动线信息。吊装物W的动线信息中包括吊装物W的作业半径信息GD4、起重机1的伸缩臂22的轴线信息GD5。

作业半径信息GD4是从现状起使伸缩臂22进行旋转动作时的吊装物W的动线的目标基准，吊装物W沿着作为作业半径信息GD4示出的圆弧移动。

另外，轴线信息GD5是从现状起使伸缩臂22进行变幅动作以及伸缩动作时的吊装物W的动线的目标基准，吊装物W沿着作为作业半径信息GD4示出的直线移动。

引导信息显示装置50中，基于“起重机信息”生成吊装物W的作业半径信息GD4和伸缩臂22的轴线信息GD5。

数据处理部70基于“起重机信息”计算起重机1的作业半径，生成示出该作业半径的圆弧，作为作业半径信息GD4输出。

另外，数据处理部70基于“起重机信息”计算伸缩臂22的轴线方向，生成示出该轴线方向的直线，作为轴线信息GD5而输出。

另外，引导信息显示装置50中，构成为，用虚线表示显示作业半径信息GD4和轴线信息GD5的线，并且以成为目标基准的长度(以下称为基准长度)来显示该虚线的长度以及间隔。例如，在基准长度设为1m的情况下，作业半径信息GD4和轴线信息GD5根据在数据显示部80显示的吊装物区域WA的大小来在显示上变更虚线的长度以及间隔，以此时的标度，设为与1m相当的长度以及间隔来在地表F上显示。

引导信息显示装置50中，构成为，以基准长度(例如，1m)来显示虚线的长度、间隔，由此操作者能够从引导信息GD中感觉到吊装物W、地物C的标度感。

另外，数据处理部70基于“起重机信息”计算数据获取部60的高度，并且计算吊装物区域WA的大小以及数据显示部80的显示范围的大小，根据该计算结果变更作为作业半径信息GD4和轴线信息GD5显示的虚线的标度(虚线以及其间隔的大小)。

还有，利用引导信息显示装置50进行的引导信息GD的显示中，包括用于防止吊装物W与地物C接触的警告显示。

数据处理部70在吊装物W和地物C投影于水平面时的水平距离为规定的阈值(例如，1m)以下并且铅垂方向的距离为规定的阈值(例如，1m)以下的情况下，判断为有接触的风险。

此时，如图29所示，数据处理部70以使存在与吊装物W接触风险的地物C的引导框GD1和高度信息GD2突出显示的方式，输出地物C的引导框GD1和高度信息GD2。或者，数据处理部70以使地物C的引导框GD1和高度信息GD2闪烁的方式，输出地物C的引导框GD1和高度信息GD2。引导信息显示装置50中，通过数据处理部70，输出作为警告显示的地物C的引导框GD1和高度信息GD2，显示于数据显示部80，由此能够督促操作者注意。

另外，引导信息显示装置50中，在通过数据处理部70生成引导信息GD时，如图30所示，在吊装物W与顶臂构件22f之间设定排除区域JA。而且，数据处理部70构成为，从数据处理的对象中排除在该排除区域JA内获取到的点数据p。

主钢丝绳27穿过排除区域JA。引导信息显示装置50中，构成为，通过形成为使主钢丝绳27不包括在引导信息GD的生成对象(测量对象物)中，由此，更正确地提示容易看见的引导信息GD。另外，排除区域JA优选为，考虑到不会对吊装物W的引导框GD1的生成产生影响，将该下端高度设定在相对于吊装物W的上表面离开规定的距离的位置。

这样构成的引导信息显示装置50中，对于起重机1的操作者，关于在吊装物W和吊装物W的周边存在的地物C，能够确切地提示包括示出其形状的引导框GD1、示出高度的高度信息GD2、GD3的引导信息GD。而且，如果使用这样构成的引导信息显示装置50，例如即使在操作者无法直接目视确认吊装物W的状况下，操作者也能够基于由引导信息显示装置50提示的引导信息GD，来效率优良并且安全地进行起重机1的作业。

附图标记说明

62：激光扫描仪；P：点云数据；p：点数据；W：吊装物；C：地物；WA：吊装物区域；CL1：平面集群；L1：(点数据的)两点之间距离；r1：阈值；G1：重心；G2：重心。

Claims (7)

1.一种引导信息显示装置，具备：

数据显示部；

数据获取部，其获取通过相机拍摄的吊装物区域的影像数据、以及通过激光扫描仪对所述吊装物区域内的包含吊装物及地物的物体从上表面进行扫描而获取到的点云数据；以及

数据处理部，其根据对所述点云数据进行聚类而得的平面集群生成引导框，使所述生成的所述引导框与所述影像数据内的所述物体重叠地显示在所述数据显示部上，

所述数据处理部，

在从所述激光扫描仪起的距离方向上对所述点云数据进行分级，对属于同一级、且点间距离在阈值以下的点云数据进行聚类来形成平面集群，

在属于不同的级的2个平面集群中，标高值的差为阈值以下的情况下，耦合所述2个平面集群形成1个平面集群，生成所述引导框。

2.根据权利要求1所述的引导信息显示装置，

所述数据处理部，

在从所述激光扫描仪起的距离方向的俯视时，检测出所述2个平面集群重复的情况下、或者所述2个平面集群的乖离量为阈值以下的情况下，

耦合所述2个平面集群形成1个平面集群。

3.根据权利要求1或者权利要求2所述的引导信息显示装置，

所述形成的1个平面集群的标高值为所属的点的标高值的平均。

4.一种引导信息显示方法，具备：

数据获取工序，其获取通过相机拍摄的吊装物区域的影像数据、以及通过激光扫描仪对所述吊装物区域内的包括吊装物及地物的物体从上表面进行扫描而获取到的点云数据；

数据处理工序，其对所述点云数据进行聚类来生成引导框；以及

数据显示工序，使所述生成的所述引导框与影像数据内的物体重叠地显示在数据显示部上，

所述数据处理工序，包括：

在从所述激光扫描仪起的距离方向上对所述点云数据进行分级，对属于同一级、且点间距离在阈值以下的点云数据进行聚类来形成平面集群的工序，

在属于不同的级的2个平面集群中，标高值的差为阈值以下的情况下，耦合所述2个平面集群形成1个平面集群，生成所述引导框的工序。

5.根据权利要求4所述的引导信息显示方法，

所述数据处理工序包括如下工序，

在从所述激光扫描仪起的距离方向的俯视时，检测出所述2个平面集群重复的情况下、或者所述2个平面集群的乖离量为阈值以下的情况下，耦合所述2个平面集群形成1个平面集群。

6.根据权利要求5所述的引导信息显示方法，

所述数据处理工序反复进行如下工序：

在检测出所述耦合而得的1个平面集群与其他级的平面集群重复的情况下、或者所述耦合而得的1个平面集群的平均标高值与其他级的平面集群的标高值之差为阈值以下的情况下，耦合所述1个平面集群与所述其他级的平面集群。

7.一种作业机，具备权利要求1至权利要求3中任一项所述的引导信息显示装置。

Images