CN111943050B - 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法 - Google Patents

引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法 Download PDF

Info

Publication number
CN111943050B
CN111943050B CN202010689602.8A CN202010689602A CN111943050B CN 111943050 B CN111943050 B CN 111943050B CN 202010689602 A CN202010689602 A CN 202010689602A CN 111943050 B CN111943050 B CN 111943050B
Authority
CN
China
Prior art keywords
outline
data
ground object
data processing
hoisted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689602.8A
Other languages
English (en)
Other versions
CN111943050A (zh
Inventor
小阪孝幸
石川岩
洼田谕
田中成典
中村健二
山本雄平
中原匡哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Kansai University
Original Assignee
Tadano Ltd
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd, Kansai University filed Critical Tadano Ltd
Publication of CN111943050A publication Critical patent/CN111943050A/zh
Application granted granted Critical
Publication of CN111943050B publication Critical patent/CN111943050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/22Control systems or devices for electric drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/16Applications of indicating, registering, or weighing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00Safety gear
    • B66C15/04Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • B66C15/045Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track electrical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00Safety gear
    • B66C15/06Arrangements or use of warning devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00Safety gear
    • B66C15/06Arrangements or use of warning devices
    • B66C15/065Arrangements or use of warning devices electrical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88Safety gear
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明公开一种引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法。高精度地取得吊装货物或其周边存在的地上物的形状和地表面的高度,在吊装货物接近地上物的情况下,提示高精度的报警显示。引导信息显示装置(50)具有:数据处理部(70),其根据由激光扫描器(62)取得的点组数据(P),估计吊装货物(W)的上表面、地表面(F)和地上物(C)的上表面,并且生成表示分别包围吊装货物(W)的上表面和地上物(C)的上表面的引导框的引导框(GD1)、表示吊装货物(W)和地上物(C)的标高值(H)的高度信息(GD2)和高度信息(GD3),并且根据估计出的吊装货物(W)和地上物(C)的上表面,计算吊装货物(W)与地上物(C)的距离,在距离成为阈值以下的情况下,该数据处理部(70)输出报警显示;以及数据显示部,其显示引导信息(GD),该引导信息(GD)将由数据处理部(70)生成的引导框(GD1)、高度信息(GD2)及高度信息(GD3)、报警显示以及由摄像头(61)拍摄出的影像(M)重叠起来。

Description

引导信息显示装置、具有该引导信息显示装置的起重机和引 导信息显示方法
本申请是申请日2018年7月19日,申请号201880048237.3,发明名称为“引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法”的分案申请。
技术领域
本发明涉及由操作员辅助起重机作业的引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法的技术。
背景技术
以往,公知有如下技术:根据监视器上所显示的引导信息确认吊装货物、吊装货物的周围的状态,实现起重机作业的效率化。该技术例如公开在以下的专利文献1中。
专利文献1中公开了通知吊装货物周边的物体高度的高度信息通知系统涉及的技术。在专利文献1所记载的吊装货物周边的物体的高度信息通知系统中,利用激光距离传感器、微波距离传感器、立体摄像头等距离计测单元计测从动臂的末端到吊装货物周边的距离。而且,构成为使用距离的测量结果检测吊装货物周边的物体(地上物)的位置并且计算高度,生成使吊装货物周边的物体的位置和高度与由摄像头拍摄出的拍摄图像对应起来的处理图像(引导信息),将该引导信息显示在监视器上。
在这样的专利文献1所记载的引导信息显示装置(高度信息通知系统)中,在吊装货物接近吊装货物周边的物体的情况下,通过将标志(报警显示)等显示在监视器上,抑制了吊装货物与周边的物体接触。
现有技术文件
专利文献
专利文献1:日本特开2013-120176号公报
发明内容
发明所要解决的课题
但是,如专利文献1所记载的现有技术所示,关于利用由距离测量单元取得的局部计测数据取得吊装货物和吊装货物周边的物体的位置信息的结构,难以高精度地取得吊装货物或其周边存在的地上物的形状和地表面的高度,在吊装货物接近地上物的情况下,难以输出高精度的报警显示。
本发明鉴于该现状的课题而完成,其目的在于提供一种引导信息显示装置、具有引导信息显示装置的起重机和引导信息显示方法,该引导信息显示装置能够高精度地取得吊装货物或其周边存在的地上物的形状和地表面的高度,在吊装货物接近地上物的情况下,提示高精度的报警显示。
用于解决课题的手段
本发明要解决的课题如上所述,接着,说明用于解决该课题的手段。
即,本发明的引导信息显示装置的特征在于,具有数据取得部、数据处理部和数据显示部,该数据取得部具有:摄像头,该摄像头拍摄起重机的作业区域的一部分;以及激光扫描器,该激光扫描器在所述作业区域,从吊装货物的上方取得点组数据,该数据处理部根据由所述激光扫描器取得的所述点组数据,估计所述吊装货物的上表面、所述作业区域的地表面和存在于所述作业区域的地上物的上表面,并且生成表示分别包围所述吊装货物的上表面和所述地上物的上表面的引导框的引导框图像和表示所述吊装货物和所述地上物的标高值的标高值图像,进一步根据估计出的所述吊装货物和所述地上物的上表面,计算所述吊装货物与所述地上物的距离,在所述距离成为阈值以下的情况下,输出报警显示,该数据显示部显示引导信息,该引导显示将由所述数据处理部生成的所述引导框图像、所述标高值图像、所述报警显示以及由所述摄像头拍摄出的所述影像重叠起来。
此外,在本发明的引导信息显示装置中,其特征在于,在所述吊装货物与所述地上物的水平方向上的所述距离为水平方向上的阈值以下且所述吊装货物与所述地上物的铅垂方向上的所述距离为铅垂方向上的阈值以下的情况下,该引导信息显示装置输出所述报警显示。
此外,在本发明的引导信息显示装置中,其特征在于,所述报警显示是通过任意的颜色输出所述引导框图像和所述标高值图像的显示。
此外,在本发明的引导信息显示装置中,其特征在于,所述报警显示是使所述引导框图像和所述标高值图像闪烁并输出的显示。
此外,本发明的起重机的特征在于,该起重机具有引导信息显示装置。
此外,本发明的引导信息显示方法是一种引导信息显示装置的引导信息显示方法,该引导信息显示装置具有数据取得部、数据处理部和数据显示部,该数据取得部具有:摄像头,该摄像头拍摄起重机的作业区域的一部分;以及激光扫描器,该激光扫描器在所述作业区域,从吊装货物的上方取得点组数据,该数据处理部根据由所述激光扫描器取得的所述点组数据,估计所述吊装货物的上表面、所述作业区域的地表面和存在于所述作业区域的地上物的上表面,并且生成表示分别包围所述吊装货物的上表面和所述地上物的上表面的引导框的引导框图像和表示所述吊装货物和所述地上物的标高值的标高值图像,进一步根据估计出的所述吊装货物和所述地上物的上表面,计算所述吊装货物与所述地上物的距离,在所述距离为铅垂方向上的阈值以下且成为水平方向的阈值以下的情况下,输出报警显示,该数据显示部显示引导信息,该引导显示将由所述数据处理部生成的所述引导框图像、所述标高值图像、所述报警显示以及由所述摄像头拍摄出的所述影像重叠起来,该引导信息显示装置的引导信息显示方法的特征在于,具有以下工序:铅垂方向接近判定工序,判定所述吊装货物与所述地上物的标高值之差是否为所述铅垂方向上的阈值以下;外形线放大工序,生成所述吊装货物的上表面的外形线,并且生成使所述外形线的各边在放大由该外形线包围的范围的方向上分别水平移动与所述水平方向上的阈值相等的距离的外形线即放大外形线;非重叠判定工序,在设利用所述激光扫描器照射的激光的侧线方向和与所述侧线方向垂直的水平方向为坐标轴的坐标系中,在所述地上物的外形线的全部顶点处的所述侧线方向的坐标的最小值大于所述放大外形线的全部顶点处的所述侧线方向的坐标的最大值的情况、或所述地上物的外形线的全部顶点处的所述水平方向上的坐标的最小值大于所述放大外形线的全部顶点处的所述水平方向上的坐标的最大值的情况、或所述放大外形线的全部顶点处的所述侧线方向的坐标的最小值大于所述地上物的外形线的全部顶点处的所述侧线方向的坐标的最大值的情况、或所述放大外形线的全部顶点处的所述水平方向上的坐标的最小值大于所述地上物的外形线的全部顶点处的所述水平方向上的坐标的最大值的情况下,判定为所述放大外形线与所述地上物的外形线不重叠;线段重叠判定工序,判定所述放大外形线的线段与地上物的外形线的线段是否重叠;以及包含判定工序,判定所述放大外形线和所述地上物的外形线中的一个是否包含另一个,在所述铅垂方向接近判定工序中判定为所述吊装货物与所述地上物的标高值之差为所述铅垂方向上的阈值以下的情况下,所述数据处理部进行所述外形线放大工序和所述非重叠判定工序,在所述非重叠判定工序中未判定为所述放大外形线与所述地上物的外形线不重叠的情况下,所述数据处理部进行所述线段重叠判定工序,在所述线段重叠判定工序中判定为所述放大外形线的线段与所述地上物的外形线的线段不重叠的情况下,所述数据处理部进行所述包含判定工序,在所述线段重叠判定工序中判定为所述放大外形线与所述地上物的外形线重叠的情况或在所述包含判定工序中判定为所述放大外形线和所述地上物的外形线中的一个包含另一个的情况下,所述数据处理部输出所述报警显示。
此外,在本发明的引导信息显示方法中,其特征在于,具有以下工序:顶点间距离计算工序,计算所述吊装货物的外形线与所述地上物的外形线的全部顶点彼此的水平方向上的距离;以及顶点线段间距离计算工序,计算所述吊装货物的外形线的全部顶点与所述地上物的外形线的全部线段的水平方向上的距离,在所述非重叠判定工序中判定为所述放大外形线与所述地上物的外形线不重叠的情况或在所述包含判定工序中判定为所述放大外形线和所述地上物的外形线中的一个不包含另一个的情况下,所述数据处理部进行所述顶点间距离计算工序,在所述顶点间距离计算工序中判定为所述吊装货物的外形线与所述地上物的外形线的顶点彼此的水平方向上的距离全部不为阈值以下的情况下,所述数据处理部进行所述顶点线段间距离计算工序,在所述顶点间距离计算工序中判定为计算的水平方向上的距离中的至少一个为所述水平方向上的阈值以下的情况或在所述顶点线段间距离计算工序中判定为计算的水平方向的距离中的至少一个为所述水平方向上的阈值以下的情况下,所述数据处理部输出所述报警显示。
本发明的有益效果如下:
作为本发明的效果,起到如下所示的效果。
根据本发明,能够高精度地取得吊装货物或其周边存在的地上物的形状和地表面的高度,在吊装货物接近地上物的情况下,进行高精度的报警显示。
附图说明
图1是示出本发明一个实施方式的引导信息显示装置的应用对象即起重机的整体结构的示意图。
图2是说明吊装货物区域的俯视示意图。
图3是示出本发明一个实施方式的引导信息显示装置的整体结构的示意图。
图4是说明吊装货物区域的侧视示意图。
图5是摄像头空间坐标系和摄像头的视场角的说明图,图5的(A)是沿Z轴方向观察的示意图,图5的(B)是沿X轴方向观察的示意图。
图6是基于激光扫描器的激光的照射状况的说明图,图6的(A)是沿X轴方向观察的示意图,图6的(B)是沿Y轴方向观察的示意图。
图7是示出数据取得部的示意图,图7的(A)是沿Y轴方向观察的仰视图、图7的(B)是图7的(A)中的A-A剖视图。
图8是示出引导信息的显示状态的图,图8的(A)是示出显示有影像M的数据显示部的图,图8的(B)是示出将影像M与引导信息GD重叠显示的数据显示部的图。
图9是示出引导信息显示装置的另一结构的示意图,图9的(A)示出由平板PC构成数据处理部、数据显示部、数据输入部的情况,图9的(B)示出由触摸面板式显示器装置构成数据显示部、数据输入部的情况。
图10是示出吊装货物区域与激光侧线的关系的示意图。
图11是说明激光扫描器的激光的照射状况的沿Z轴方向观察的示意图。
图12是示出数据处理部的数据处理的流程的流程图。
图13是示出由数据取得部取得的点组数据的图,图13的(A)是将点组数据绘制在XYZ坐标系上的图,图13的(B)是将绘制在XYZ坐标系上的点组数据分为多个组的图。
图14是示出操作员的地表面的指定状况的示意图。
图15是示出地表面的指定时的基准高度的计算方法的说明图,图15的(A)是示出基准高度的计算方法的图,图15的(B)是示出吊装货物区域的分割状况的示意图。
图16是平面集群的生成方法的说明图。
图17是示出平面的估计过程的流程图。
图18是平面的估计过程(步骤-201~202)的说明图。
图19是平面的估计过程(步骤-203~205)的说明图。
图20是平面的估计过程(步骤-206~208)的说明图。
图21是平面的估计过程(步骤-206~208(第2次))的说明图。
图22是平面的估计过程(上表面的估计状况)的说明图。
图23是存在于不同的组中的平面的结合方法的流程图。
图24是存在于不同的组中的平面的结合方法的说明图。
图25是同一区域的聚类处理的说明图。
图26是分级聚类的说明图,图26的(A)是第一例的地上物的情况,图26的(B)是第二例的地上物的情况。
图27是引导框的生成过程的说明图。
图28是示出分级聚类中的同一区域聚类的设定例的图,图28的(A)是形成为包围整体的同一区域聚类的情况,图28的(B)是将标高值最高的平面聚类设定为另一同一区域聚类的情况,图28的(C)是设定全部包含标高值的差分为阈值以上的平面集群的另一同一区域聚类的情况。
图29是输出报警显示的引导信息显示方法的工序的说明图。
图30是示出报警显示的流程的流程图。
图31是水平方向上的重叠判定A的流程图。
图32是放大吊装货物的外形线的处理的说明图。
图33是非重叠判定工序的说明图。
图34是水平方向上的重叠判定A的说明图。
图35是水平方向上的接近判定B的流程图。
图36是示出数据显示部中的报警显示的示意图。
图37是排除区域的设定状况的说明图。
具体实施方式
接着,说明发明的实施方式。
如图1所示,起重机1是作为本发明一个实施方式的引导信息显示装置的应用对象的起重机的一例,并且是可移动到期望的位置的移动式起重机。
起重机1具有行驶车辆10、起重机装置20。
行驶车辆10输送起重机装置20,具有多个(在本实施方式中,4个)车轮11,将发动机(未图示)作为动力源来行驶。
在行驶车辆10的四个角部设置有液压支腿12。液压支腿12由伸出横梁12a和千斤顶油缸12b构成,该伸出横梁12a能够通过液压向行驶车辆10的宽度方向两侧延伸,该千斤顶油缸12b为液压式,能够在与地面垂直的方向上延伸。而且,行驶车辆10通过使千斤顶油缸12b接地,能够使起重机1处于可作业的状态,通过增大伸出横梁12a的延伸长度,能够增大起重机1的可作业范围(作业半径)。
起重机装置20利用钢丝绳悬吊吊装货物W,具有回转台21、伸缩动臂22、主吊钩组23、副吊钩组24、俯仰油缸25、主绞盘26、主钢丝绳27、副绞盘28、副钢丝绳29、舱室30。
回转台21构成为使起重机装置20能够旋转,经由圆环状的轴承设置在行驶车辆10的框架上。圆环状的轴承被设置成其旋转中心与行驶车辆10的设置面垂直。回转台21构成为以圆环状的轴承的中心为旋转中心在一个方向和另一个方向上旋转自如。此外,回转台21借助液压式的回转马达(未图示)旋转。
伸缩动臂22以可悬吊吊装货物W的状态支承钢丝绳。伸缩动臂22由多个作为动臂部件的基础动臂部件22a、第二动臂部件22b、侧动臂部件22c、力臂部件22d、第五动臂部件22e和上动臂部件22f构成。各动臂部件按照截面积的大小的顺序呈嵌套式地插入。伸缩动臂22构成为通过利用未图示的伸缩油缸使各动臂部件移动,沿轴向伸缩自如。伸缩动臂22设置成基础动臂部件22a的基端能够在回转台21上摆动。由此,伸缩动臂22构成为能够在行驶车辆10的框架上水平旋转并且摆动自如。
主吊钩组23用于钩挂和悬挂吊装货物W,并设置有卷绕有主钢丝绳27的多个钩轮和悬吊吊装货物W的主吊钩32。
起重机装置20除了主吊钩组23以外,还具有用于钩挂并悬挂吊装货物W的副吊钩组24,在副吊钩组24上设置有悬吊吊装货物W的副挂钩33。
俯仰油缸25使伸缩动臂22立起和倒伏,保持伸缩动臂22的姿势。俯仰油缸25由液压缸构成,该液压缸由缸部和杆部构成。
主绞盘26进行主钢丝绳27的卷绕(卷起)和放出(释放),在本实施方式中,由液压绞盘构成。
主绞盘26构成为使卷绕有主钢丝绳27的主鼓借助主用液压马达旋转。主绞盘26构成为放出通过以使主用液压马达向一个方向旋转的方式供给液压油来卷绕于主鼓的主钢丝绳27,通过以使主用液压马达向另一个方向旋转的方式供给液压油将主钢丝绳27卷绕于主鼓来卷绕。
此外,副绞盘28进行副钢丝绳29的卷绕和放出,在本实施方式中,由液压绞盘构成。
舱室30覆盖操作员落座的驾驶坐席31,设置于回转台21上的伸缩动臂22的侧方。
这样构成的起重机1通过使行驶车辆10行驶,能够使起重机装置20移动到任意的位置,并且,利用俯仰油缸25使伸缩动臂22立起至任意的俯仰角度,能够使伸缩动臂22延伸为任意的伸缩动臂长度。
此外,起重机1具有控制器34,该控制器34对回转台21、伸缩动臂22、俯仰油缸25等的动作(即,起重机1的动作)进行控制。控制器34能够将回转台21、伸缩动臂22、俯仰油缸25等的动作状态涉及的信息、起重机1固有的性能涉及的信息和吊装货物W的重量等输出到外部。
另外,在本说明中,以伸缩动臂22的俯仰支点的轴向为基准,规定了如图1所示的XYZ坐标系(在以下的说明中也同样如此)。
X轴方向(也称作侧线方向)是与伸缩动臂22的俯仰支点的轴向平行的水平方向。此外,Y轴方向(也称作标高方向)是铅垂方向。并且,Z轴方向(也称作进深方向)是与伸缩动臂22的俯仰支点的轴向垂直的水平方向。即,如图2所示,XYZ坐标系被规定为以伸缩动臂22为基准的局部坐标系。
接着,对本发明一个实施方式的引导信息显示装置进行说明。
起重机1具有如图3所示的引导信息显示装置50。
引导信息显示装置50是本发明的引导信息显示装置的一例,并且是用于用影像显示包含吊装货物W的区域(以下,称作吊装货物区域WA)的信息(以下,称作引导信息)并提示给操作员以能够高效并且安全地进行如图1所示的起重机1的作业的装置。
如图2和图4所示,这里所说的“吊装货物区域WA”是指在起重机1的作业区域SA内被设定为在沿Y轴方向观察时包含吊装货物W的区域,并且是指作为生成“引导信息”的对象的区域。
“吊装货物区域WA”被设定为包含起重机1中的伸缩动臂22的上动臂部件22f的正下方的区域,存在于吊装货物区域WA内的吊装货物W、地表面F、地上物C成为引导信息显示装置50的测量对象物。“吊装货物区域WA”按照伸缩动臂22的回转动作、俯仰动作、伸缩动作进行位移。
此外,这里所说的“引导信息”是在操作员通过起重机1输送吊装货物W时,针对伸缩动臂22的长度/回转位置/俯仰角度、钢丝绳的开卷量等的良否辅助操作员的判断的信息,包含吊装货物区域WA的影像信息、吊装货物W和地上物C的形状涉及的信息、吊装货物W的高度信息、地上物C的高度信息、吊装货物W的活动线涉及的信息等。
如图3和图4所示,引导信息显示装置50由数据取得部60、数据处理部70、数据显示部80和数据输入部90构成。
数据取得部60是取得生成吊装货物区域WA中的引导信息所需的数据的部位,如图3所示,具有摄像头61、激光扫描器62和惯性计测装置(IMU)63。
如图4所示,数据取得部60附设在位于起重机1的伸缩动臂22的末端的上动臂部件22f上,以能够从位于吊装货物W的正上方的动臂末端捕捉正下方的状况的状态配置。另外,这里所说的吊装货物W的“正上方”是包含吊装货物W的铅垂上方的位置和以该位置为基准的一定范围(例如,吊装货物W的上表面的范围)的位置的概念。
数据取得部60构成为经由万向接头67(参照图1)附设于伸缩动臂22的末端部的上动臂部件22f上,能够在伸缩动臂22进行俯仰动作、回转动作、伸缩动作时,将数据取得部60的姿势(朝向Y轴方向的姿势)保持为大致恒定。由此,能够预先使摄像头61和激光扫描器62始终朝向吊装货物W。因此,数据取得部60能够利用摄像头61和激光扫描器62,从吊装货物W和存储于该吊装货物W的下方的地表面F(即,吊装货物区域WA)始终取得数据。此外,能够在地上物C存在于吊装货物区域WA的情况下,利用摄像头61和激光扫描器62取得地上物C的数据。
如图5的(A)、(B)所示,摄像头61是用于拍摄吊装货物区域WA的影像的数字摄像机,并具有将所拍摄的影像实时地输出到外部的功能。摄像头61具有如图5的(A)(B)所示的视场角(水平视场角θh和垂直视场角θv)。此外,摄像头61具有考虑了生成适当的引导信息所需的数据量的像素数、帧率、图像传输速率。
如图3所示,激光扫描器62是如下装置:对测量对象物照射激光,接收该激光的测量对象物上的反射光,由此,取得该反射点涉及的信息,并取得测量对象物的点组数据。激光扫描器62的测量对象物为吊装货物W、地上物C、地表面F。此外,激光扫描器62与用于取得测量时刻的第一GNSS接收器65连接。
在引导信息显示装置50中,利用激光扫描器62实时地取得平面上的三维点组数据。
如图6所示,激光扫描器62具有合计16个激光收发传感器,能够同时向测量对象物照射16条激光,取得测量对象物的点组数据。激光扫描器62的16个各激光收发传感器配置成在Z轴方向上使照射角度各存在2°的不同,并构成为能够以整体上具有30°的扩展的方式对测量对象物照射激光。此外,激光扫描器62的各激光收发传感器构成为能够绕Z轴旋转360°(全方位)。另外,在以下的说明中,将朝向吊装货物区域WA照射的激光所描绘的轨迹称作激光侧线。激光侧线与X轴方向平行,在激光扫描器62中,同时描绘16条激光侧线。
而且,激光扫描器62配置成使激光侧线与X轴方向平行。此外,激光扫描器62的变更激光的照射角度的基准轴与Z轴方向平行。
如图3所示,惯性计测装置(Inertial Measurement Unit,以下,称作IMU)63是用于在取得数据时取得摄像头61和激光扫描器62的姿势数据的装置。IMU 63能够实时地测量姿势角,具有能够用于由激光扫描器62取得的点组数据的校正的测量精度。此外,IMU 63与用于取得测量时刻的第二GNSS接收器66连接。
如图7的(A)(B)所示,数据取得部60是将摄像头61、激光扫描器62、惯性计测装置(IMU)63固定于框架体64并一体地构成的传感器单元。
框架体64是组合5片板材而构成的大致长方体状的物体。框架体64构成为如下形状:用4片板材构成长方体的四方的侧面部,并且用剩余的1片的板材构成长方体的上表面部,在下方具有开口部。在数据取得部60,将摄像头61和激光扫描器62附设于框架体64的侧面部内侧,将IMU 63附设于框架体64的上表面部。如图7的(A)所示,摄像头61的摄像元件中心位置和激光扫描器62的激光中心位置在沿Y轴方向观察时,在Z轴方向上隔开距离Δzh。另外,激光中心位置是激光扫描器62中的激光的旋转中心,位于Z轴上。
此外,如图7的(B)所示,摄像头61的摄像元件中心位置和激光扫描器62的激光中心位置在沿X轴方向观察时,在Y轴方向上隔开距离Δyv。
数据取得部60配置成框架体64的四方的侧面部中的、相对的一对侧面部中的一个与Z轴垂直且相对的一对侧面部的另一个与X轴垂直的姿势。此外,数据取得部60配置成框架体64的上表面部与Y轴垂直的姿势。
接着,对将XYZ坐标系中的点(x,y)的X坐标转换为摄像头空间坐标系中的Xc坐标的方法进行说明。
在引导信息显示装置50中,在XYZ坐标系与摄像头空间坐标系之间进行坐标值的转换处理,以在由摄像头61拍摄出的影像M上重叠后述的引导信息GD并显示在数据显示部80上。在引导信息显示装置50中,在摄像头61的影像空间中规定了三维的摄像头空间坐标系Xc、Yc、Zc。
如图5的(A)所示,设从摄像头61的透镜中心延伸的垂直线到点(x,y)的X轴方向上的距离为dh、摄像头61的水平方向上的最大画面宽度为wh。此外,关于点(x,y),设从画面中心起X轴方向上的位置为x。这时,摄像头空间中的点(x,y)的Xc坐标用以下的式(1)(2)表示。
另外,在以下的式中,设摄像头61的摄像元件与激光中心的位置的水平方向上的差分为Δzh(参照图7的(A))、摄像头图像的横宽为wh、摄像头61的水平视场角为θh、临时变量为tmp1。
tmp1=(y-Δzh)×tan(π×θh/360)……(1)
Xc=wh/2-wh×x/(2×tmp1)……(2)
接着,对将XYZ坐标系中的点(y,z)的Z坐标转换为摄像头空间坐标系中的Zc坐标的方法进行说明。
如图5的(B)所示,设从点(y,z)到激光中心的Z轴方向上的距离为dv、摄像头61的水平方向上的最大画面宽度为wv。此外,关于点(y,z),设从画面中心起Z轴方向上的位置为z。这时,摄像头空间中的点(y,z)的Zc坐标用以下的式(3)(4)表示。
另外,在以下的式中,设摄像头61的摄像元件与激光扫描器62的激光中心的位置的垂直方向上的差分为Δyv(参照图7的(B))、摄像头图像的纵宽为wv、摄像头61的垂直视场角为θv、临时变量为tmp2。
tmp2=Y×tan(π×θv/360)……(3)
Zc=wv/2+wv×(Z-Δyv)/(2×tmp2)……(4)
在引导信息显示装置50中,使用上述式(1)~(4),将在XYZ坐标系中由激光扫描器62等取得的点组数据的坐标转换为摄像头空间坐标系,由此使引导信息GD位置对准在由摄像头61拍摄出的影像M上并显示。
另外,作为激光扫描器62,考虑伸缩动臂22的最高到达高度而选择能够根据该最高到达高度(例如,大约100m)对测量对象物的三维形状进行测量的设备。此外,作为激光扫描器62,考虑生成适当的引导信息所需的数据量和数据精度而选择关于测量速度、测量点数、测量精度等各规格具有规定的性能的设备。
另外,在本实施方式中,例示了使用具有合计16个激光收发传感器的激光扫描器62的情况,但是,本发明的引导信息显示装置不受构成激光扫描器的激光收发传感器的个数限定。即,本发明的引导信息显示装置根据起重机的动臂(吊臂)的最高到达高度等,适当选择最佳规格的激光扫描器。
由数据取得部60在吊装货物区域WA取得的数据中包含影像数据,该影像数据是利用摄像头61拍摄吊装货物W、吊装货物W的下方的地表面F、存在于吊装货物W的周围的地上物C所得的。此外,由数据取得部60在吊装货物区域WA取得的数据中包含点组数据,该点组数据是利用激光扫描器62扫描并取得吊装货物W、地表面F和地上物C所得的。另外,这里所说的地表面F较大范围包含作为吊装货物W的输送源和输送目的地的面,不仅包含地上表面,还包含建筑物屋顶的楼板面、屋顶面等。
如图3所示,数据处理部70是用于生成对由数据取得部60取得的数据进行处理并提示给操作员的引导信息GD的部位,在本实施方式中,由安装有规定的数据处理程序的通用个人计算机构成。
此外,数据处理部70与起重机1的控制器34电连接,从控制器34输出的“起重机信息”输入到数据处理部70。
数据显示部80是用于显示提示给操作员的引导信息GD的部位,由与数据处理部70连接的显示器装置构成。
如图8的(A)所示,在数据显示部80上实时地显示由摄像头61拍摄出的吊装货物区域WA的影像M。
如图8的(B)所示,引导信息GD中包含表示吊装货物W、地上物C的沿Y轴方向观察时的外形形状的引导框图像即引导框GD1、吊装货物W的下表面的标高值图像即高度信息GD2、地上物C的上表面的标高值图像即高度信息GD3、表示吊装货物W的活动线的作业半径信息GD4和表示伸缩动臂22的轴线方向的轴线信息GD5等。
而且,在数据显示部80上重叠显示由数据处理部70生成的引导信息GD和影像M。
如图3所示,数据输入部90是用于向数据处理部70输入设定值等的部位,由触摸面板、鼠标、键盘装置等构成。
另外,如图9的(A)所示,引导信息显示装置50优选由平板型通用个人计算机(以下,也称作平板PC)一体地构成数据处理部70、数据显示部80和数据输入部90。此外,如图9的(B)所示,引导信息显示装置50也可以构成为由触摸面板式显示器装置一体地构成数据显示部80和数据输入部90,将作为通用PC的数据处理部70与该触摸面板式显示器装置连接。
如图4所示,数据显示部80和数据输入部90配置于舱室30内的驾驶坐席31的前方的操作员容易观察的位置。数据处理部70优选配置于数据取得部60的附近。另外,也可以构成为在由平板PC一体地构成数据处理部70、数据显示部80和数据输入部90的情况下,将数据处理部70配置于舱室30内。
数据取得部60与数据处理部70之间的数据的传输优选通过有线LAN进行。另外,数据取得部60与数据处理部70之间的数据的传输可以采用无线LAN,或者也可以采用电力线通信。
另外,如图9的(A)所示,引导信息显示装置50优选由平板型通用个人计算机(以下,也称作平板PC)一体地构成数据处理部70、数据显示部80和数据输入部90。此外,如图9的(B)所示,引导信息显示装置50也可以构成为由触摸面板式显示器装置一体地构成数据显示部80和数据输入部90,且将作为通用PC的数据处理部70与该触摸面板式显示器装置连接。
这里,说明基于数据取得部60的数据的取得状况。
在数据取得部60,利用摄像头61连续地拍摄吊装货物区域WA,取得吊装货物区域WA的影像M。
如图10所示,在数据取得部60,利用激光扫描器62对吊装货物区域WA连续地进行扫描,取得吊装货物区域WA的测量对象物的点组数据。以下,将由激光扫描器62取得的点组数据称作点组数据P。点组数据P是点数据p的集合,点数据p表示位于存在于吊装货物区域WA的地表面F、吊装货物W、地上物C的上表面的点。而且,如图11所示,点数据p中包含从测量对象物(例如地上物C)到激光扫描器62的距离a和取得该点数据p时的激光扫描器62的照射角度b的信息。
如图3所示,激光扫描器62与第一GNSS接收器65连接,在取得点组数据P的同时,利用第一GNSS接收器65从多个定位卫星接收时间信息。而且,数据处理部70对点数据p赋予该点数据p的取得时间涉及的信息。即,点数据p涉及的信息中除了距离a、照射角度b以外,还包含取得时间tp。
此外,在数据取得部60,利用激光扫描器62取得点组数据P,同时利用IMU 63按照规定的周期取得激光扫描器62的姿势数据Q。姿势数据Q中包含激光扫描器62相对于X、Y、Z轴的各轴方向的角度和加速度涉及的信息。另外,基于IMU 63的姿势数据Q的取得周期比基于激光扫描器62的点组数据P的取得周期短。姿势数据Q是按照每个测量周期测量的单独姿势数据q的集合。
IMU 63与第二GNSS接收器66连接,在取得姿势数据Q的同时,利用第二GNSS接收器66从多个定位卫星接收时间信息。数据处理部70对单独姿势数据q赋予取得时间tq作为该单独姿势数据q的取得时间涉及的信息。即,单独姿势数据q涉及的信息中包含取得时间tq。
接着,说明基于数据处理部70的数据的处理状况。
如图12所示,在数据处理部70的数据处理中,首先,进行“框架提取处理”(步骤-101)。
在基于数据处理部70的点组数据P的数据处理中,从点组数据P的流数据中剪切1帧量的点组数据P并输出。1帧两的点组数据P是在激光扫描器62的激光的照射方向绕Z轴旋转1圈的期间内取得的点数据p的集合。
如图12所示,在数据处理部70的数据处理中,接着,进行“点组数据与姿势数据的同步处理”(步骤-102)。
数据处理部70使1帧量的点组数据P所包含的点数据p与由IMU 63取得的姿势数据Q同步。
具体而言,搜索在各个点数据p中最接近该点数据p的取得时间tp的单独姿势数据q的取得时间tq,通过将该取得时间tq中的单独姿势数据q与该点数据p对应来同步。
这样,数据处理部70输出与单独姿势数据q同步的点数据p。
而且,如图11所示,数据处理部70根据距离a和照射角度b,计算从激光扫描器62的激光中心位置到点数据p的距离h。另外,这里所说的“距离h”是从激光扫描器62的激光中心位置到存在点数据p的水平面的距离。
此外,在数据处理部70,在计算点数据p的距离h时,使用与该点数据p对应的单独姿势数据q进行校正。由此,能够消除由于激光扫描器62的姿势引起的误差,能够更高精度地计算点数据p的距离h。
即,在引导信息显示装置50中,数据取得部60具有取得激光扫描器62的姿势数据Q的IMU 63,数据处理部70根据由IMU 63取得的激光扫描器62的姿势数据Q,校正点组数据P。
在引导信息显示装置50中,能够通过这样的结构,向操作员提示更加准确的引导信息GD。
当将1帧量的点组数据P绘制在XYZ坐标系中时,如图13的(A)所示。图13的(A)是从Z轴方向观察的点组数据P(点数据p的集合)。
如图12所示,在数据处理部70的数据处理中,接着进行“地表面估计处理”(步骤-103)。数据处理部70进行估计地表面F的处理。
首先,说明以影像上的特定的位置为基准估计地表面F的情况。另外,这里,例示操作员以手动的方式指定影像上的特定位置的情况,但是,也可以构成为数据处理部70自动地确定并指定影像上的特定位置。
在引导信息显示装置50中,在数据显示部80和数据输入部90指定地表面的位置,由此,能够确定作为基准的地表面F。
在基于手动的情况下,首先,如图14的上图所示,操作员在显示于数据显示部80的影像上指定明确是地表面的位置。然后,如图14的中图所示,数据处理部70生成以该指定的位置(点)为中心的规定半径的基准圆。而且,如图14的下图所示,数据处理部70检测与位于激光侧线上的点数据p的重叠,选择基准圆内所包含的多个点数据p。
而且,如图15的(A)所示,数据处理部70从所选择的多个点数据p中首先提取距离h为最大距离hmax的点数据p。距离h为最大距离hmax的点数据p被推测为存在于最低的位置的点数据p。而且,数据处理部70以最大距离hmax为基准,提取距离h的离散量D位于一定范围内(在本实施方式中,7cm以内)的点数据p,计算所提取的点数据p的距离h的平均值。数据处理部70将以这样的方式计算出的平均值估计为距地表面F的距离h,根据该距离h确定地表面F的高度(以下,称作基准高度H0)。
然后,数据处理部70根据距离h和基准高度H0,计算点数据p的标高值H。如图10所示,标高值H是点数据p距基准高度H0的高度。
引导信息显示装置50构成为根据通过上述处理而高精度地取得的地表面F的基准高度H0,生成引导信息GD。因此,在引导信息显示装置50中,能够根据地表面F的高度,高精度地计算吊装货物W或其周边存在的地上物C的形状。
接着,说明自动地估计地表面F的情况。
在上述说明中,示出了操作员指定地表面F的结构,但是,引导信息显示装置50也可以构成为利用数据处理部70自动地估计地表面F。
在利用数据处理部70自动地估计地表面F的情况下,如图15的(B)所示,数据处理部70将吊装货物区域WA分割为面积相等的多个(在本实施例中,160个)小区域S。
接着,如图15的(A)所示,数据处理部70在各小区域S提取距离h最大的(距离h为最大距离hmax)点数据p,以最大距离hmax为基准提取距离h的离散量D位于一定范围内(在本实施方式中,离散量D为7cm以内)的点数据p。
接着,数据处理部70在各小区域S计算所提取的点数据p的距离h的平均值。数据处理部70根据以这样的方式计算出的距离h的平均值,自动地估计各小区域S的地表面F的基准高度H0。
或者,数据处理部70还在全部小区域S对在各小区域S计算出的距离h的平均值进行平均,根据该平均值自动地估计为吊装货物区域WA的地表面F的基准高度H0。该情况下,数据处理部70以各小区域S的距离h的平均值中的最大值为基准,仅使用距该最大值的离散量D为规定的阈值以内的小区域S计算基准高度H0。
如图12所示,在数据处理部70的数据处理中,接着,进行“平面的估计处理”(步骤-104)。数据处理部70通过以下所示的上表面估计方法,估计存在于吊装货物区域WA的测量对象物即吊装货物W和地上物C的上表面。
当将1帧量的点组数据P描绘到用XYZ坐标系表示的吊装货物区域WA上时,如图13的(A)所示地表示。而且,当示意性示出位于这样的吊装货物区域WA的点组数据P时,如图16的上图所示。
如图16的中图所示,数据处理部70沿Y轴方向按照规定的厚度d呈层状地分割在图16的上图所示的吊装货物区域WA所取得的点组数据P,并将点组数据P划分为多个组(参照图13的(B))。
这时,数据处理部70对所分割的各组赋予单独的组ID(这里,ID设为001~006),将各点数据p与组ID相关联。
然后,数据处理部70在各组中使用该组所包含的多个点数据p,估计平面。这里所说的“平面”是在吊装货物W和地上物C中向上存在的平面,即,是吊装货物W和地上物C的“上表面”。
具体而言,首先,如图17和图18的上图所示,数据处理部70从同一组所包含的多个点数据p、p……中选择2个点数据p、p(2点选择工序:步骤-201)。
而且,如图17和图18下图所示,数据处理部70计算所选择的2个点数据p、p的2点间距离L1(点间距离计算工序:步骤-202)。
接着,如图17和图19上图所示,如果2点间距离L1为规定的阈值r1以下(步骤-203),则数据处理部70视作该2点(用虚线表示的2个点数据p、p)位于同一平面上(视作2点平面工序:步骤-204)。而且,如图17和图19的下图所示,数据处理部70计算被视作位于同一平面上的各点(这里,所选择的2点)的重心G1(重心计算工序:步骤-205)。假设在(步骤-203)中判定为“否”的情况下,返回(步骤-201),重新选择新的2个点。
接着,如图17和图20的上图所示,数据处理部70搜索作为相对于计算出的重心G1的附近点的点数据p(附近点搜索工序:步骤-206)。这里所说的“附近点”是相对于重心G1的点间距离为阈值r1以下的点。
而且,如图17和图20的下图所示,数据处理部70如果发现作为附近点的点数据p(步骤-207),则试作作为该附近点的点数据p也位于与之前所选择的2个点数据p、p位于同一平面上(视作附近点平面工序:步骤-208)。
而且,如图17和图21的上图所示,数据处理部70返回(步骤-205),根据视作位于同一平面上的各点(这里,用虚线表示的3个点数据p、p、p),计算新的重心G2。
数据处理部70转移到(步骤-206),进一步搜索作为相对于重心G2的附近点的点数据p。而且,如图17和图21的下图所示,数据处理部70如果进一步发现作为附近点的点数据p(步骤-207),则试作作为该附近点的点数据也是与之前所选择的各点位于同一平面上的点数据p(步骤-208)。
而且,数据处理部70计算新的重心并搜索附近点,在直到不再检测出作为附近点的点数据p为止依次反复进行从(步骤-205)到(步骤-208)的处理。
而且,如图17所示,数据处理部70如果未发现新的附近点,则在(步骤-207)中判定为“否”,如图22所示,对视作位于同一平面上的点数据p的部分集合(聚类)进行聚类,估计平面(步骤-209)。这里所说的“聚类”是如下处理:将作为点数据p的集合的点组数据P划分为集群,使得具有如各集群所包含的点数据p位于同一平面上的共同的特征。
数据处理部70将点组数据P划分为被视作位于同一平面上的点数据p,从而设定平面聚类CL1(参照图16的下图)。根据属于平面聚类CL1的各点数据p,能够规定平面(即,吊装货物W和地上物C的“上表面”)。另外,还有时在赋予了相同的组ID的组内存在多个平面聚类CL1。
而且,数据处理部70根据属于平面聚类CL1的点数据p的X坐标的最大值和最小值估计平面的“宽度”,根据Z坐标的最大值和最小值估计平面的“进深”。数据处理部70以这样的方式规定平面聚类CL1所形成的平面。另外,这里规定的平面也可以为除了矩形以外的多边形。
在这样的上表面估计方法中,能够仅根据与由激光扫描器62取得的上表面对应的点组数据P,估计吊装货物W和地上物C的上表面。因此,在本实施方式中所示的上表面估计方法中,能够根据由激光扫描器62取得的点组数据P,在短时间内估计吊装货物W和地上物C的上表面,进而能够实现实时地估计吊装货物W和地上物C的上表面。
此外,在这样的上表面估计方法中,能够不使用统计学方法而估计吊装货物W和地上物C的上表面,与使用统计学方法的情况相比,能够减少吊装货物W和地上物C的上表面的估计所需的计算量。因此,在本实施方式中所示的上表面估计方法中,能够根据由激光扫描器62取得的点组数据P,在更短时间内估计吊装货物W和地上物C的上表面。
另外,在本实施方式中所示的吊装货物W和地上物C的上表面估计方法中,例示了如下情况:在起重机1中,在伸缩动臂22的上动臂部件22f中设置数据取得部60,利用激光扫描器62从吊装货物W的铅垂上方取得吊装货物W、地上物C、地表面F涉及的点组数据P,但是,本发明的测量对象物的上表面估计方法不限定为应用于设起重机的吊装货物和存在于该吊装货物的周围的物体为测量对象物的情况。
即,本实施方式中所示的上表面估计方法例如能够广泛应用于如下情况:在具有动臂的作业车辆(例如,高空作业车等)的动臂末端部、无人机等中设置激光扫描器,从上空取得存在于其铅垂下方的测量对象物的点组数据,根据所取得的点组数据估计测量对象物的上表面。
接着,数据处理部70将所估计的各平面聚类CL1(上表面)相结合。
如图23和图24的上图所示,数据处理部70选择所估计的平面聚类CL1中的、被赋予了不同的组ID的2个平面聚类CL1、CL1,计算各平面聚类CL1的标高值H的差异dH(步骤-301:标高值差异计算工序)。
这里,数据处理部70搜索差异dH为阈值r2以内的组合(步骤-302)。这里所说的平面聚类CL1的标高值H是属于平面聚类CL1的各点数据p的标高值H的平均值。
接着,如图23和图24的中图所示,数据处理部70在检测出标高值H的差异dH为阈值r2以内的平面聚类CL1的组合时,针对这些平面聚类CL1、CL1检测X轴方向上的重叠dW(步骤-303:重叠检测工序)。这里所说的“重叠”是指利用平面聚类CL1规定的平面的X轴方向上的重叠程度和分离程度,如图23和图24所示,在检测出“宽度”的重叠量dW1的情况(dW1>0)或分离量dW2为规定的阈值r3以下的情况(0≦dW2≦r3)下,检测“重叠”。
而且,如图23和图24所示,在检测出“重叠”的情况下(步骤-304),数据处理部70视作属于这些平面聚类CL1、CL1的点数据p存在于同一平面上,将两个平面聚类CL1、CL1相结合,并作为新的平面聚类CL1更新(步骤-305:平面结合工序)。此外,这时,根据属于新的平面聚类CL1的各点数据p,计算新的标高值H。
如图23所示,数据处理部70直到满足条件的平面聚类CL1、CL1的组合消失为止反复进行以上的处理(步骤-306),估计跨多个组存在的平面。
而且,数据处理部70输出通过以上的结合处理而结合起来的平面(即,平面聚类CL1)。
利用平面聚类CL1规定的平面是在吊装货物W和地上物C中向上存在的平面,即,是吊装货物W和地上物C的上表面。
在这样的平面的估计方法中,能够不使用点组数据P的法线向量而估计平面。因此,与使用点组数据P的法线向量估计平面的情况相比,存在计算量较少即可的特征。
此外,在这样的平面的估计方法中,通过估计吊装货物W、地上物C的上表面,能够不取得吊装货物W、地上物C的侧面的点数据p而掌握吊装货物W、地上物C的立体形状。
如图12所示,在数据处理部70的数据处理中,接着,进行“同一区域的聚类处理”(步骤-105)。这里所说的“聚类”是如下处理:将作为数据的集合的点组数据P划分为聚类,使得具有如各聚类所包含的点数据p位于“同一区域”的共同的特征。
这里进行的“同一区域的聚类处理”是与是否构成同一平面无关地基于是否存在“同一区域”的不同的观点对所生成的平面聚类CL1(平面)进行聚类的处理。
具体而言,如图25的上图所示,数据处理部70提取包含标高值H为最大值Hh的点数据p的平面聚类CL1和未与该平面聚类CL1结合的平面聚类CL1。而且,数据处理部70计算所提取的各平面聚类CL1的标高值H的差分ΔH,如果差分ΔH为规定的阈值以下,则转移到下一个判定。
当转移到下一个判定时,如图25的中图所示,数据处理部70对于差分ΔH为规定的阈值以下的两个平面聚类CL1、CL1,确认沿Y轴方向观察的重叠。
这里,在两个平面聚类CL1、CL1在沿Y轴方向观察时重叠的情况下,如图25的下图所示,数据处理部70将这些平面聚类CL1、CL1视作位于“同一区域”,利用这些平面聚类CL1、CL1形成同一区域聚类CL2。
而且,数据处理部70还搜索包含具有标高值H的最大值Hh的点数据p的平面聚类CL1、未与该平面聚类CL1结合的平面聚类CL1,如果提取出未结合的平面聚类CL1,则进行基于差分ΔH的判定和沿Y轴方向观察时的重叠的确认,如果存在符合上述条件的平面聚类CL1,则进一步追加至上述同一区域聚类CL2。
数据处理部70直到不再发现未与包含具有标高值H的最大值Hh的点数据p的平面聚类CL1结合的平面聚类CL1为止反复进行这样的处理。数据处理部70通过如上所述的处理,形成同一区域聚类CL2。
而且,属于以这样的方式形成的同一区域聚类CL2的点数据p在后述的引导信息GD的显示中,被作为形状上存在一个集合的点数据处理,并以包围同一区域聚类CL2的方式显示引导框GD1。
另外,这样的“同一区域的聚类处理”优选形成如图26的(A)(B)所示的、使用基于标高值的树结构的分级聚类。数据处理部70在“同一区域的聚类处理”中,按照每个地上物C使用标高值H生成树结构。这里,例示了针对图26的(A)所示的第一例的地上物C进行使用树结构的分级聚类的情况和针对图26的(B)所示的第二例的地上物C进行使用树结构的分级聚类的情况。
在使用基于标高值的树结构的分级聚类中,数据处理部70将标高值H的平均值最小的平面聚类CL1设定为“根(root)”。此外,如果存在在沿Y轴方向观察时与构成“根”的平面聚类CL1具有重叠的平面聚类CL1,则数据处理部70从“根”扩展为“枝(分支)”,在“枝”的前面追加具有该重叠的平面聚类CL1。而且,数据处理部70将标高值H的平均值最大的平面聚类CL1设定为“子”。
这里,对引导框GD1的生成方法进行说明。
数据处理部70取得在“同一区域的聚类处理”中所生成的地上物C的树结构。而且,数据处理部70取得构成树结构的各平面聚类CL1所包含的点数据p。
接着,如图27的上图所示,数据处理部70从“子”的平面聚类CL1的点数据p取得在Z轴方向上位于最深处的激光侧线上的各点数据p。而且,数据处理部70生成在Z轴方向上以距相邻的激光侧线的距离的1/2远离且具有能够包围各点数据p的X轴方向上的宽度的矩形。
接着,在与所生成的矩形相邻的激光侧线上存在点数据p的情况下,如图27下图所示,数据处理部70以全部包含对应的激光侧线上的点数据p的方式使矩形变形,生成外形线。
而且,数据处理部70直到作为对象的激光侧线上的点数据p消失为止在相邻的激光侧线上搜索点数据p,反复上述处理。
最后,数据处理部70生成外形线,该外形线外包所选择的树结构所包含的全部的平面聚类CL1。
而且,数据处理部70从所生成的外形线中,仅将符合条件的外形线作为引导框GD1输出。
例如,如图28的(A)所示,关于作为引导框GD1输出的条件,可以选择仅显示作为地上物C的大框的外形线的条件。在选择了该条件的情况下,在数据显示部80相对于该地上物C显示包围地上物C的整体的一个引导框GD1。
此外,关于作为引导框GD1输出的条件,例如,如图28的(B)所示,能够选择如下条件:除了作为地上物C的大框的外形线以外,还显示标高值H相对于“根”的差(差分ΔH)为阈值以上的外形线(小框)中的、在各枝中标高值H最高的平面聚类CL1涉及的外形线。在选择了该条件的情况下,在数据显示部80显示包围该地上物C的整体的第一个引导框GD1和第一个引导框GD1的内侧所包含的第二个引导框GD1,并且显示考虑了地上物C的立体形状的更加详细的引导信息GD。
并且,关于作为引导框GD1输出的条件,例如,如图28的(C)所示,能够选择如下条件:除了作为地上物C的大框的外形线以外,还全部显示标高值H相对于“根”的差(差分ΔH)为阈值以上的外形线(小框)。在选择了该条件的情况下,在数据显示部80还显示包围地上物C的整体的第一个引导框GD1和该内侧所包含的第二个引导框GD1,并且显示考虑了地上物C的立体形状的更加详细的引导信息GD。
这样的显示条件也能够通过调整差分ΔH的阈值来进行。操作员能够以更容易观察到引导信息GD的显示的方式,适当选择引导框GD1的显示条件。
即,在引导信息显示装置50中,通过根据同一区域聚类CL2生成引导框GD1,能够考虑地上物C的立体形状来生成更加详细地表现地上物C的引导框GD1。此外,在引导信息显示装置50中,能够生成引导框GD1,该引导框GD1统一包围存在于同一区域的平面聚类CL1。即,根据引导信息显示装置50,能够提示更加详细并且容易观察的引导信息GD。
如图12所示,在数据处理部70的数据处理中,接着,进行“点组数据与摄像头影像的同步处理”(步骤-106)。
这里,如图5的(A)(B)所示,将在XYZ坐标系中所取得的点组数据P转换为摄像头空间坐标系的坐标值,同步(位置对准)在由摄像头61拍摄的影像M上,并输出到数据显示部80。
如图12所示,在数据处理部70的数据处理中,接着,进行“引导显示处理”(步骤-107)。
数据处理部70根据所生成的同一区域聚类CL2的信息生成引导信息GD,并输出到数据显示部80。
另外,在“引导显示处理”时,利用从起重机1的控制器34输出的“起重机信息”。这里利用的“起重机信息”中包含伸缩动臂22的长度、俯仰角度、起重机1的作业半径、吊装货物W的重量等涉及的信息。
说明了数据处理部70进行的数据处理的一系列的流程,但是,在这样的结构中,无需取得测量对象物的侧面的点数据p,能够以较少的运算量准确地掌握吊装货物W、地上物C的立体形状,从而生成引导信息GD。这样的结构因为数据运算量较少即可,所以适用于实时地掌握吊装货物W、地上物C的形状的用途,能够使用简单的硬件结构的数据处理部70。
接着,对引导信息GD的内容进行说明。
在引导信息显示装置50中,利用数据显示部80显示引导信息GD。利用数据显示部80显示的引导信息GD中包含如图8的(B)所示的由操作员指定的地表面F的指定位置涉及的信息。
此外,引导信息显示装置50能够指定吊装货物W。与操作员指定地表面F的情况相同,通过在画面上指示吊装货物W,存在于该指定位置上的平面(上表面)被设定为表示吊装货物W的上表面的平面。在被指定为吊装货物W之后,吊装货物W涉及的引导框GD1和地上物C涉及的引导框GD1优选改变线颜色、线粗细等而区分地显示。
地表面F和吊装货物W的指定位置涉及的信息通过用圆等图形表示的标志来显示。
此外,利用数据显示部80显示的引导信息GD中包含由数据处理部70生成的引导框GD1。
数据处理部70根据所设定的同一区域聚类CL2,输出引导框GD1。另外,数据处理部70能够设置用于可靠地避免冲突的余量作为吊装货物W的引导框GD1,并能够将从吊装货物W的外形线向外侧偏移了规定距离的框线作为引导框GD1输出。这样的引导框GD1成为在吊装货物W和地上物C中用线段包围所估计的上表面(平面聚类CL1)的框显示。
此外,利用数据显示部80显示的引导信息GD中包含从基准高度H0到吊装货物W的下表面的高度信息GD2和从基准高度H0到地上物C的上表面的高度信息GD3。
吊装货物W的高度信息GD2优选构成为在数据显示部80的画面上的容易观察的位置处设置独立的区域,并在该区域显示。
在引导信息显示装置50中,通过这样的结构,使得不会看错吊装货物W的高度信息GD2和地上物C的高度信息GD3。
数据处理部70通过从估计为吊装货物W的上表面的平面聚类CL1的上表面高度中减去吊装货物W的高度,计算高度信息GD2。
在引导信息显示装置50中,操作员将吊装货物W涉及的信息(以下,称作“吊装货物信息”)预先输入到数据处理部70中。该操作员进行的“吊装货物信息”的输入由数据输入部90进行。而且,数据处理部70使用“吊装货物信息”,取得吊装货物W的高度。
引导信息显示装置50构成为将地上物C的高度信息GD3显示于包围地上物C的引导框GD1的内侧。或者,引导信息显示装置50构成为在引导框GD1较小的情况下,以一部分与引导框GD1重叠的方式显示。
在引导信息显示装置50中,利用这样的结构,明确地上物C与高度信息GD3的对应关系。
此外,引导信息显示装置50构成为利用数据处理部70,根据与该引导框GD1对应的平面聚类CL1的标高值H改变引导框GD1的线颜色。
在引导信息显示装置50中,操作员通过这样的结构观察引导框GD1,由此,能够直观地感知吊装货物W、地上物C的大致的标高值(高度)。因此,在引导信息显示装置50中,能够更加准确地提示吊装货物W和地上物C的高度。
并且,引导信息显示装置50构成为利用数据处理部70,根据与该引导框GD1对应的平面聚类CL1的标高值H改变高度信息GD2的字体颜色。
在引导信息显示装置50中,操作员通过这样的结构观察高度信息GD2,由此,能够直观地感知吊装货物W、地上物C的大致的标高值(高度)。因此,在引导信息显示装置50中,能够更加准确地提示吊装货物W和地上物C的高度。
并且,利用引导信息显示装置50进行的引导信息GD的显示中包含吊装货物W的活动线信息。吊装货物W的活动线信息中包含吊装货物W的作业半径信息GD4和起重机1的伸缩动臂22的轴线信息GD5。
作业半径信息GD4成为从现状起使伸缩动臂22回转动作时的吊装货物W的活动线的基准,吊装货物W沿着作为作业半径信息GD4表示的圆弧移动。
此外,轴线信息GD5成为从现状起使伸缩动臂22俯仰动作以及伸缩动作时的吊装货物W的活动线的基准,吊装货物W沿着作为作业半径信息GD4表示的直线移动。
在引导信息显示装置50中,根据“起重机信息”,生成吊装货物W的作业半径信息GD4和伸缩动臂22的轴线信息GD5。
数据处理部70根据“起重机信息”计算起重机1的作业半径,生成表示该作业半径的圆弧,并作为作业半径信息GD4输出。
此外,数据处理部70根据“起重机信息”计算伸缩动臂22的轴线方向,生成表示该轴线方向的直线,并作为轴线信息GD5输出。
此外,引导信息显示装置50构成为用虚线表示显示作业半径信息GD4和轴线信息GD5的线,并且通过以该虚线的长度和间隔为基准的长度(以下,称作基准长度)显示。例如,在设基准长度为1m的情况下,作业半径信息GD4和轴线信息GD5根据显示于数据显示部80的吊装货物区域WA的大小而在显示上变更虚线的长度和间隔,在这时的刻度中,显示作在地表面F相当于1m的长度和间隔。
引导信息显示装置50构成为通过基准长度(例如,1m)显示虚线的长度、间隔,由此,操作员能够从引导信息GD感觉到吊装货物W、地上物C的刻度感。
此外,数据处理部70根据“起重机信息”计算数据取得部60的高度,并且计算吊装货物区域WA的大小和数据显示部80的显示范围的大小,根据该计算结果变更作为作业半径信息GD4和轴线信息GD5显示的虚线的刻度(虚线和该间隔的大小)。
并且,利用引导信息显示装置50进行的引导信息GD的显示中包含用于防止吊装货物W与地上物C的接触的报警显示。
在将吊装货物W和地上物C投射到水平面上时的水平距离为规定的阈值(例如,1m)以下或铅垂方向的距离为规定的阈值(例如,1m)以下的情况下,数据处理部70判定为存在接触的可能性。
这里,使用图29至图36,具体地说明用于防止吊装货物W与地上物C的接触的报警显示的处理。另外,作为报警显示的基准的水平方向和铅垂方向上的各阈值以防止由于吊装货物W的摇晃、吊装货物W和地上物C的形状的测量误差等引起的吊装货物W与地上物C的接触为目的而设定为任意的值。
如图29所示,输出报警显示的引导信息显示方法由以下工序构成:铅垂方向接近判定工序K101,根据吊装货物W与地上物C的标高值H之差,判定吊装货物W与地上物C是否在铅垂方向上接近;外形线放大工序K102,使吊装货物W的外形线进行水平移动;非重叠判定工序K103,判定放大外形线与地上物C的外形线是否不重叠;线段重叠判定工序K104,判定放大外形线的线段与地上物C的外形线的线段是否重叠;包含判定工序K105,判定放大外形线和地上物C的外形线中的一个是否包含另一个;顶点间距离计算工序K106,计算放大外形线与地上物C的外形线的全部顶点彼此的水平方向上的距离;以及顶点线段间距离计算工序K107,计算放大外形线的全部顶点与地上物C的外形线的全部线段的水平方向上的距离。另外,吊装货物W和地上物C的外形线是包围在“同一区域的聚类处理”(步骤-105)(参照图12)中生成的吊装货物W和地上物C的整体的外形线。
如图30所示,数据处理部70首先计算吊装货物W与地上物C的标高值H之差(铅垂方向接近判定工序K101:步骤-401)。另外,吊装货物W的标高值H为吊装货物W的下表面的标高值,并被作为高度信息GD2计算。此外,地上物C的标高值H为地上物C的上表面的标高值H,并被作为高度信息GD3计算。
数据处理部70判定吊装货物W与地上物C的标高值H之差是否为铅垂方向上的阈值以下(铅垂方向接近判定工序K101:步骤-402)。
在步骤-402中判定为吊装货物W与地上物C的标高值H之差不为铅垂方向上的阈值以下的情况下,数据处理部70结束报警显示的处理。
在步骤-402中判定为吊装货物W与地上物C的标高值H之差为铅垂方向上的阈值以下的情况下,数据处理部70针对吊装货物W的外形线和地上物C的外形线开始用于判定XZ平面上的重叠的水平方向上的重叠判定A(步骤-500)。
如图31和图32所示,数据处理部70在水平方向上的重叠判定A中,首先生成使吊装货物W的外形线的各边在放大由外形线包围的范围的方向上水平移动了与水平方向上的阈值相等的距离的外形线即放大外形线(外形线放大工序K102:步骤-501)。
如图31所示,数据处理部70判定放大外形线和地上物C的外形线的内侧所包含的点数据p的合计是否为2个点以上(步骤-502)。
在步骤-502中判定为放大外形线和地上物C的外形线所包含的点数据p的合计不为2个点以上的情况下,数据处理部70判定为放大外形线与地上物C的外形线在XZ平面上不重叠(步骤-508)。
此外,在步骤-502中判定为放大外形线和地上物C的外形线所包含的点数据p的合计为2个点以上的情况下,数据处理部70接着判定放大外形线与地上物C的外形线是否在XZ平面上不重叠(非重叠判定工序K103:步骤-503)。
放大外形线与地上物C的外形线是否在XZ平面上不重叠的判定在设利用激光扫描器62照射的激光的侧线方向(X轴方向)以及与侧线方向垂直的水平方向(Z轴方向)为坐标轴的坐标系中,根据XZ平面上的最大值和最小值,判定放大外形线和地上物C的外形线的顶点。具体而言,设放大外形线的全部顶点处的XZ平面上的X坐标的最大值为MaxX1、X坐标的最小值为MinX1、Z坐标的最大值为MaxZ1、Z坐标的最小值为MinZ1、地上物C的外形线的全部顶点处的XZ平面上的X坐标的最大值为MaxX2、X坐标的最小值为MinX2、Z坐标的最大值为MaxZ2、Z坐标的最小值为MinZ2,在符合以下的式(5)~(8)中的任意一个条件的情况下,数据处理部70判定为放大外形线与地上物C的外形线在XZ平面上不重叠(步骤-508)。
MaxX1<MinX2……(5)
MaxZ1<MinZ2……(6)
MaxX2<MinX1……(7)
MaxZ2<MinZ1……(8)
如图33所示,在地上物C的外形线的最小值MinX2大于放大外形线的最大值MaxX1的情况下(参照图33的(A)),符合式(5)的条件,在地上物C的外形线的最小值MinZ2大于放大外形线的最大值MaxZ1的情况下(参照图33的(B)),符合式(6)的条件,在放大外形线的最小值MinX1大于地上物C的外形线的最大值MaxX2的情况下(参照图33的(C)),符合式(7)的条件,在放大外形线的最小值MinZ1大于地上物C的外形线的最大值MaxZ2的情况下(参照图33的(D)),符合式(8)的条件。
如图34所示,不符合式(5)~(8)中的任意一个条件的情况相当于放大外形线的线段与地上物C的外形线的线段重叠的情况(参照图34的(A))、放大外形线与地上物C的外形线中的一个包含另一个的情况(参照图34的(B))、放大外形线与地上物C的外形线不重叠且一个不包含另一个的情况(参照图34的(C))中的任意一种。
如图31所示,在步骤-503中不符合式(5)~(8)中的任意一个条件的情况下,数据处理部70接着通过基于外积的判定来判定放大外形线的线段与地上物C的外形线的线段是否在XZ平面上重叠(线段重叠判定工序K104:步骤-504)。
在步骤-504中的基于外积的判定中,在设放大外形线的线段为ab、地上物C的外形线的线段为cd、线段ab的端点a的X坐标为ax、Z坐标为az、端点b的X坐标为bx、Z坐标为bz、线段cd的端点c的X坐标为cx、Z坐标为cz、端点d的X坐标为dx、Z坐标为dz时,通过以下的式(9)~(12),计算2个线段的外积。2个线段的外积是指计算一个线段与另一个线段的两端点的外积。设外积的计算结果的处理用的值为ta、tb、tc、td,ta为线段cd与端点a的外积,tb为线段cd与端点b的外积,tc为线段ab与端点c的外积,tb为线段ab与端点d的外积。
ta=(cx-dx)×(az-cz)+(cz-dz)×(cx-ax)……(9)
tb=(cx-dx)×(bz-cz)+(cz-dz)×(cx-bx)……(10)
tc=(ax-bx)×(cz-az)+(az-bz)×(ax-cx)……(11)
td=(ax-bx)×(dz-az)+(az-bz)×(ax-dx)……(12)
如果2个线段的外积的计算结果为tc×td≦0且ta×tb≦0,则数据处理部70在步骤-504中,判定为线段ab与线段cd重叠。数据处理部70以放大外形线的全部线段和地上物C的外形线的全部线段为对象,进行步骤-504中的基于外积的判定。
而且,数据处理部70在步骤-504中将放大外形线的全部线段和地上物C的外形线的全部线段作为对象进行判定,在判定为所判定的线段中的至少一个重叠(参照图34的(A))的情况下,判定为放大外形线与地上物C的外形线在XZ平面上重叠(步骤-507)。
数据处理部70在步骤-504中将放大外形线的全部线段和地上物C的外形线的全部线段作为对象进行判定,在判定为全部线段不重叠的情况下,接着判定放大外形线是否包含在地上物C的外形线中(包含判定工序K105:步骤-505)。
在放大外形线是否包含在地上物C的外形线中的判定中,首先,通过与步骤-504中的基于外积的判定相同的计算方法,进行以放大外形线中的任意顶点为端点的半直线和地上物C的外形线的全部线段是否重叠的判定,并计算重叠的次数。然后,如果该重叠的次数为奇数,则数据处理部70判定为放大外形线包含在地上物C的外形线中。另外,在进行基于外积的判定时,通过将临时的端点设置于以可判定重叠的程度远离端点的位置的半直线上,能够计算线段彼此的外积。
在步骤-505中判定为放大外形线包含在地上物C的外形线中(参照图34的(B))的情况下,数据处理部70判定为放大外形线与地上物C的外形线在XZ平面上重叠(步骤-507)。
在步骤-505中判定为放大外形线不包含在地上物C的外形线中的情况下,数据处理部70接着判定地上物C的外形线是否包含在放大外形线中(包含判定工序K105:步骤-506)。
在地上物C的外形线是否包含在放大外形线中的判定中,进行放大外形线是否包含在地上物C的外形线中的判定的相反处理。即,数据处理部70通过与步骤-504中的基于外积的判定相同的计算方法,进行以地上物C的外形线中的任意顶点为端点的半直线与放大外形线的全部线段是否重叠的判定,并计算重叠的次数。然后,如果该重叠的次数为奇数,则数据处理部70判定为地上物C的外形线包含在放大外形线中。另外,在进行基于外积的判定时,通过将临时的端点设置于以可判定重叠的程度远离端点的位置的半直线上,能够计算线段彼此的外积。
在步骤-506中判定为地上物C的外形线包含在放大外形线中的情况下,数据处理部70判定为放大外形线与地上物C的外形线在XZ平面上重叠(步骤-507)。
在步骤-506中判定为地上物C的外形线不包含在放大外形线中(参照图34的(C))的情况下,数据处理部70判定为放大外形线与地上物C的外形线在XZ平面上不重叠(步骤-508)。
数据处理部70在步骤-507中判定为放大外形线与地上物C的外形线在XZ平面上重叠,结束水平方向上的重叠判定A。此外,数据处理部70在步骤-508中判定为放大外形线与地上物C的外形线在XZ平面上不重叠,结束水平方向上的重叠判定A。
如图30所示,数据处理部70根据水平方向上的重叠判定A中的判定结果,判定放大外形线与地上物C的外形线是否在XZ平面上重叠(步骤-403)。在判定为放大外形线与地上物C的外形线在XZ平面上重叠的情况下,在数据显示部80进行报警显示(步骤-405)。
在步骤-403中判定为放大外形线与地上物C的外形线在XZ平面上不重叠的情况下,数据处理部70进行水平方向上的接近判定B(步骤-600)。
如图35所示,数据处理部70在水平方向上的接近判定B中,首先计算吊装货物W的外形线与地上物C的外形线的全部顶点彼此的水平方向上的距离(顶点间距离计算工序K106:步骤-601)。
而且,数据处理部70判定计算出的顶点间的水平方向上的距离中的至少一个是否为水平方向的报警显示的阈值以下(步骤-602)。
在步骤-602中判定为计算出的顶点间的水平方向上的距离中的至少一个为水平方向上的阈值以下的情况下,数据处理部70判定为需要报警显示(步骤-605)。
在步骤-602中判定为计算出的顶点间的水平方向上的距离全部不为水平方向上的阈值以下的情况下,数据处理部70计算吊装货物W的外形线的全部顶点与地上物C的外形线的全部线段的水平方向上的距离(顶点线段间距离计算工序K107:步骤-603)。另外,数据处理部70计算从吊装货物W的外形线的顶点到地上物C的外形线的线段上的最近点的距离,作为吊装货物W的外形线的顶点与地上物C的外形线的线段的水平方向上的距离。
而且,数据处理部70判定计算出的顶点和线段的水平方向上的距离中的至少一个是否为水平方向上的报警显示(步骤-604)。
在步骤-604中判定为计算出的顶点和线段在水平方向上的距离中的至少一个为水平方向上的报警显示的阈值以下的情况下,数据处理部70判定为需要报警显示(步骤-605)。
在步骤-604中判定为计算出的顶点和线段的水平方向上的距离全部不为水平方向的报警显示的阈值以下的情况下,数据处理部70判定为无需报警显示(步骤-606)。
数据处理部70在步骤-605中判定为需要报警显示,结束水平方向上的接近判定B。此外,数据处理部70在步骤-606中判定为无需报警显示,结束水平方向上的接近判定B。
如图30所示,数据处理部70根据水平方向上的接近判定B中的判定结果,判定是否需要报警显示(步骤-404)。
在步骤-404中判定为需要报警显示的情况下,数据处理部70在数据显示部80进行报警显示(步骤-405),结束报警显示的处理。
在步骤-404中判定为无需报警显示的情况下,数据处理部70结束报警显示的处理。
如图36所示,在数据显示部80上重叠显示有由数据处理部70生成的引导信息GD和影像M。在吊装货物W和地上物C的水平方向上的距离为水平方向上的阈值以下且铅垂方向上的距离为铅垂方向上的阈值以下的情况下,数据处理部70以使有可能与吊装货物W接触的地上物C的引导框GD1和高度信息GD2通过任意的颜色闪烁的方式,输出地上物C的引导框GD1和高度信息GD2。或者,数据处理部70以增大地上物C的引导框GD1和高度信息GD2的线粗细、字符尺寸来强调地上物C的引导框GD1和高度信息GD2的方式,输出地上物C的引导框GD1和高度信息GD2。在引导信息显示装置50中,利用数据处理部70输出作为报警显示的地上物C的引导框GD1和高度信息GD2,并显示在数据显示部80上,由此能够提醒操作员注意。由此,引导信息显示装置50能够高精度地取得吊装货物W或其周边存在的地上物C的形状和地表面F的高度,在吊装货物W接近地上物C的情况下,提示高精度的报警显示。
另外,数据处理部70也可以在吊装货物W与地上物C的水平方向上的距离成为阈值以下之后,按照该距离的变化使地上物C的引导框GD1和高度信息GD2的颜色、闪烁的间隔发生变化,对接触的可能性升高或降低进行报警显示。此外,数据处理部70也可以将放大外形线和要放之前的外形线均作为引导框GD1显示。此外,报警的输出不限定于报警显示于数据显示部80,也可以通过扬声器输出报警音、声音。
此外,在引导信息显示装置50中,在利用数据处理部70生成引导信息GD时,如图37所示,在吊装货物W与上动臂部件22f之间设定排除区域JA。而且,数据处理部70构成为从数据处理的对象中排除在该排除区域JA内所取得的点数据p。
主钢丝绳27通过排除区域JA。引导信息显示装置50构成为通过使得不将主钢丝绳27包含在引导信息GD的生成对象(测量对象物)中,更加准确地提示容易观察的引导信息GD。另外,排除区域JA优选考虑不对吊装货物W的引导框GD1的生成产生影响而将其下端高度设定于从吊装货物W的上表面起离开规定距离的位置。
在这样的结构的在引导信息显示装置50中,能够准确地对起重机1的操作员提示引导信息GD,该引导信息GD包含表示吊装货物W和存在于吊装货物W的周边的地上物C的形状的引导框GD1和表示吊装货物W和存在于吊装货物W的周边的地上物C的高度的高度信息GD2、GD3。而且,如果使用这样的结构的引导信息显示装置50,则例如即使在操作员无法直接看到吊装货物W的状况下,操作员也能够根据利用引导信息显示装置50提示的引导信息GD,高效且安全地进行起重机1的作业。
产业上的可利用性
本发明可以用于引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法。
标号说明
1 起重机
50 引导信息显示装置
60 数据取得部
61 摄像头
62 激光扫描器
70 数据处理部
80 数据显示部
P 点组数据
W 吊装货物
F 地表面
C 地上物
M (由摄像头拍摄出的)影像
GD 引导信息
GD1 引导框
GD2 (吊装货物下面的)高度信息
GD3 (地上物上表面的)高度信息
SA 作业区域
WA 吊装货物区域
CL1 平面聚类
CL2 同一区域聚类。

Claims (7)

1.一种引导信息显示装置,具有:
数据显示部;
数据取得部,该数据取得部取得由摄像头拍摄而得的吊装货物区域的影像数据、以及利用激光扫描器从上方扫描所述吊装货物区域内的吊装货物和地上物而得的点组数据;以及
数据处理部,基于根据所述点组数据估计出的所述吊装货物和地上物的上表面形状数据,生成与所述吊装货物和地上物对应的引导框,使生成的所述引导框与所述影像数据内的所述吊装货物和地上物重叠地显示在所述数据显示部上,
所述数据处理部使表示所述吊装货物和地上物距地表面的高度的标高值信息与包围所述吊装货物和地上物的引导框对应地显示,并使根据所述吊装货物的下表面的标高值和所述地上物的标高值估计出的所述吊装货物与所述地上物的距离显示在所述数据显示部上,并且,在所述距离为阈值以下且所述吊装货物与所述地上物的水平方向上的距离为阈值以下的情况下,发出报警,
所述数据处理部通过进行以下的判定来判定所述吊装货物与所述地上物的水平方向上的距离是否为阈值以下:基于放大所述吊装货物的引导框而得的放大外形线与所述地上物的外形线的坐标,判定所述放大外形线与所述地上物的外形线是否重叠,在判定为所述放大外形线与所述地上物的外形线不重叠的情况下,进行所述放大外形线的线段与所述地上物的外形线的线段是否重叠的判定、以及所述放大外形线和所述地上物的外形线中的一个是否包含另一个的判定。
2.根据权利要求1所述的引导信息显示装置,
所述数据处理部在从所述激光扫描器起的距离方向上对所述点组数据进行分级,将处于最下级的点数据的位置作为地表面位置估计所述吊装货物和地上物距地表面的高度。
3.根据权利要求2所述的引导信息显示装置,
所述数据处理部具有取得操作员输入的吊装货物本身的高度信息的高度信息取得部,所述数据处理部根据所述高度信息估计吊装货物的下表面位置。
4.根据权利要求1所述的引导信息显示装置,
所述数据处理部通过对数据显示部内的数据进行任意的颜色的显示或者闪烁的显示发出所述报警。
5.根据权利要求1所述的引导信息显示装置,
所述数据处理部还根据所述吊装货物的引导框的顶点或者线段与所述地上物的引导框的顶点或者线段的距离是否为阈值以下进行所述吊装货物与所述地上物的水平方向上的距离是否为阈值以下的判定。
6.一种作业机,具有权利要求1至5中任一项所述的引导信息显示装置。
7.一种吊装货物与地上物的水平方向上的距离的判定的方法,
生成使所述吊装货物的外形线各边在放大由外形线包围的范围的方向上水平移动了与水平方向上的阈值相等的距离的外形线即放大外形线,
通过进行以下的判定来判定所述吊装货物与所述地上物的水平方向上的距离:基于所述吊装货物的放大外形线与地上物的外形线的坐标,判定所述放大外形线与所述地上物的外形线是否重叠,在判定为所述放大外形线与所述地上物的外形线不重叠的情况下,进行所述放大外形线的线段与所述地上物的外形线的线段是否重叠的判定、以及所述放大外形线和所述地上物的外形线中的一个是否包含另一个的判定。
CN202010689602.8A 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法 Active CN111943050B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-142211 2017-07-21
JP2017142211A JP6871097B2 (ja) 2017-07-21 2017-07-21 ガイド情報表示装置およびこれを備えた作業機およびガイド情報表示方法
CN201880048237.3A CN110944927A (zh) 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
PCT/JP2018/027193 WO2019017460A1 (ja) 2017-07-21 2018-07-19 ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880048237.3A Division CN110944927A (zh) 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法

Publications (2)

Publication Number Publication Date
CN111943050A CN111943050A (zh) 2020-11-17
CN111943050B true CN111943050B (zh) 2022-08-16

Family

ID=65015409

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010689602.8A Active CN111943050B (zh) 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
CN201880048237.3A Pending CN110944927A (zh) 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880048237.3A Pending CN110944927A (zh) 2017-07-21 2018-07-19 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法

Country Status (5)

Country Link
US (1) US11530119B2 (zh)
EP (2) EP3656722A4 (zh)
JP (1) JP6871097B2 (zh)
CN (2) CN111943050B (zh)
WO (1) WO2019017460A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6907061B2 (ja) * 2017-07-21 2021-07-21 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
JP7277187B2 (ja) 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US20220284366A1 (en) * 2019-08-02 2022-09-08 Global Engineers Technology Pte. Ltd. Method and system for managing a crane and/or construction site
JP6997999B1 (ja) 2021-06-07 2022-01-18 余崎 直樹 フック及び吊荷監視装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR257001A0 (en) * 2001-01-17 2001-02-08 Bhp Innovation Pty Ltd Anti-collision protection system
JP5057734B2 (ja) 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
EP2327652B1 (de) * 2009-11-30 2012-09-19 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Position und Orientierung eines dreidimensionalen Objekts, Steuerungsprogramm und Postionierungserfassungssystem
WO2012161584A1 (en) * 2011-05-20 2012-11-29 Optilift As System, device and method for tracking position and orientation of vehicle, loading device and cargo in loading device operations
JP6017782B2 (ja) * 2011-12-09 2016-11-02 株式会社タダノ 吊荷周辺の物体の高さ情報通知システム
JP6053141B2 (ja) * 2013-01-29 2016-12-27 株式会社タダノ 作業確認装置
JP6258594B2 (ja) * 2013-03-28 2018-01-10 三井造船株式会社 クレーンの運転室及びクレーン
JP6162481B2 (ja) * 2013-05-21 2017-07-12 株式会社タダノ 作業領域線表示装置
CN203740898U (zh) * 2014-03-24 2014-07-30 甘肃建投装备制造有限公司 具有重量、高度监视功能的塔机吊钩可视化控制装置
CN105189327B (zh) * 2014-03-28 2017-03-15 住友重机械搬运系统工程株式会社 信息提示装置、起重机系统及信息提示方法
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
JP7180966B2 (ja) * 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ, エルエルシー 視覚的アウトリガー監視システム
WO2019152111A1 (en) * 2018-02-02 2019-08-08 Tulsa Winch, Inc. Work area monitoring system for lifting machines

Also Published As

Publication number Publication date
EP3656722A1 (en) 2020-05-27
EP3656722A4 (en) 2021-04-28
EP3808694A1 (en) 2021-04-21
US11530119B2 (en) 2022-12-20
US20210163270A1 (en) 2021-06-03
CN110944927A (zh) 2020-03-31
WO2019017460A1 (ja) 2019-01-24
JP2019023117A (ja) 2019-02-14
JP6871097B2 (ja) 2021-05-12
CN111943050A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
CN111874821B (zh) 点群数据的聚类方法、向导信息显示装置及起重机
JP6965050B2 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
CN111908339B (zh) 引导信息显示装置以及起重机
JP6907061B2 (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
CN111928782B (zh) 引导信息显示装置、引导信息显示方法及作业机
JP2019023567A (ja) 地表面推定方法、ガイド情報表示装置およびクレーン
JP6832806B2 (ja) ガイド情報表示装置、クレーンおよびガイド情報の生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant